Fils d'immigrés marocains, Roschdy Zem prend des cours de théâtre et se passionne pour le football. Si sa première expérience cinématographique remonte à 1987 (une figuration dans Les Keufs), le jeune homme, qui gagne sa vie en vendant des jeans sur les marchés, ne pense pas encore à devenir acteur. Repéré par un assistant d'André Techiné, il tient des petits rôles dans ses films J'embrasse pas (1991) et Ma saison préférée (1991), et se produit épisodiquement au théâtre.
Roschdy Zem a 30 ans lorsque sa carrière prend véritablement son envol, et ce grâce à deux prestations très remarquées, le camé de N'oublie pas que tu vas mourir de Xavier Beauvois et l'attachant veilleur de nuit d'En avoir ou pas de Laetitia Masson. Le cinéma d'auteur s'entiche alors de ce garçon robuste et plein de sensibilité, qui apparaît chez Chéreau (Ceux qui m'aiment prendront le train), Garrel, et dans nombre de premiers films, comme Louise (take 2) ou ces deux subtiles évocations de la Guerre d'Algérie que sont L'Autre côté de la mer (1997) et Vivre au paradis (1998).
A l'image d'un Sami Bouajila, Roschdy Zem ouvre la voie aux comédiens d'origine arabe en France, en s'illustrant dans des rôles et des films très variés : cinéma social (Sauve-moi ou le plus léger Ma petite entreprise de Jolivet, qui lui vaut une nomination au César du Meilleur second rôle), comédies grand public (Le Raid, Blanche, ou Chouchou dans lequel il campe l'inénarrable Frère Jean) ou films psychologiques (Betty Fisher, Ordo). Indic dans 36 Quai des Orfèvres, flic dans Le Petit lieutenant de son vieux complice Beauvois (avec à la clé une nouvelle nomination au César), ce grand acteur de composition, qui apprend l'hébreu pour Va, vis et deviens et prend l'accent serbe pour La Californie, obtient en 2006 à Cannes le Prix d'interprétation masculine, partagé avec ses partenaires, pour Indigènes, film de guerre sur les soldats nord-africains mobilisés en 1943.
Cette riche année est aussi marquée par ses débuts de réalisateur avec Mauvaise foi (dont il est aussi l'interprète principal), une comédie sur un couple mixte, elle juive (Cécile de France), lui musulman. En 2008, on le retrouve épris de La Fille de Monaco, surentraîné pour son rôle de flic risque-tout dans Go Fast ou fêtant ses retrouvailles avec Pierre Jolivet pour La Très très grande entreprise. Sa prestation d'avocat en proie à une crise de conscience dans Commis d'office (2009) est remarquée par la critique, tout comme celle dans le premier film de son ami Pascal Elbé Tête de Turc. L'année 2010 marque le retour des tirailleurs d'Afrique du Nord à Cannes avec Hors-la-loi, de nouveau sélectionné, et permet à l'acteur de retrouver ses co-lauréats du Prix d'Interprétation Jamel Debbouze et Sami Bouajila.
