Madame Rosa (Simone Signoret) habite Belleville, un quartier populaire de Paris où se cotoient beaucoup de Juifs, d'Arabes, de Noirs. Madame Rosa est juive. Fatiguée, usée par la vie, elle s'occupe de jeunes enfants que lui a confiés l'Assistance Publique. L'un de ces petits est arabe, il s'appelle Mohamed (Samy Ben Youd). Mohamed a une dizaine d'années, du moins le pense-t-il. Il est devenu un petit homme sans etre encore sorti de l'enfance. La vie, il la découvre dans ce quartier où se mélangent toutes les races, toutes les religions. Il la découvre auprès de Monsieur Hamil, un vieux marchand de tapis, comme auprès de Monsieur N'Da Amédée, très élégant dans son costume rose, le "plus grand proxénète de tous les Noirs de Paris". Mohamed ne connait ni son père ni sa mère. Un jour, il reporte son besoin d'amour sur un petit chien mais, comme il ne peut pas lui faire une vie agréable, il le vend à une dame riche et jette l'argent. Avec Madame Rosa, il s'occupe des momes, monte et descend les six étages qui la fatiguent de plus en plus. Car Madame Rosa faiblit. Mohamed, qui apprend que sa mère est morte tuée par son père, apprend en meme temps qu'il n'a pas dix mais quatorze ans. Il va désormais s'occuper de Madame Rosa, le plus et le mieux qu'il peut, jusqu'à la préserver de l'hopital et l'assister dans la mort.