Fils d'immigrés marocains, Roschdy Zem prend des cours de théâtre et se passionne pour le football. La première expérience cinématographique de ce vendeur de jeans remonte à 1987, il est alors figurant dans Les Keufs de Josiane Balasko. En 1991, le réalisateur André Techiné lui donne sa chance en lui faisant jouer un prostitué occasionnel aux côtés d'Emmanuelle Béart dans J'embrasse pas.Mais c'est en 1995 que Roschdy Zem confirme ses talents de comédien en interprétant un toxicomane dans N'oublie pas que tu vas mourir de Xavier Beauvois et un veilleur de nuit dans En avoir ou pas de Laetitia Masson. Dès lors, l'acteur se construit une filmographie riche et variée. Il collectionne les films d'auteur en jouant sous la direction de Dominique Cabréra (L'Autre côté de la mer (1997)), Patrice Chéreau (Ceux qui m'aiment prendront le train (1998)), Laetitia Masson (A vendre (id.)), André Téchiné (Alice et Martin (id.)), Siegfried (Louise (take 2) (id.), Sansa) ou encore Claude Miller (Betty Fisher et autres histoires (2001)).Parallèlement, Roschdy Zem s'illustre dans des comédies plus populaires, telles que Ma petite entreprise (1999) de Pierre Jolivet, Le Raid (2002) de Djamel Bensalah, Blanche (id.) de Bernie Bonvoisin ou encore Chouchou (2003) de Merzak Allouache. En 2004, Laurence Ferreira Barbosa le dirige en officier de la marine amoureux d'une star de cinéma (Marie-Josée Croze) dans la romance Ordo. Très impliqué dans chaque film qu'il interprète, il n'hésite pas, l'année suivante, à apprendre l'hébreu pour les besoins du drame Va, vis et deviens.
En 2006, il reçoit le prix d'interprétation masculine au Festival de Cannes pour 'Indigènes' de Rachid Bouchareb. La même année, il passe derrière la caméra et réalise son premier long métrage, 'Mauvaise Foi'. En 2008 il obtient une nouvelle nomination aux Césars pour 'La Fille de Monaco' de Anne Fontaine.
Il réalise ensuite successivement 'Omar m’a tuer' (2011), 'Bodybuilder' (2014), 'Chocolat' (2016), 'Persona non grata' (2019)
Le 28 février 2020, il remporte le César du meilleur acteur pour son rôle du Commissaire Daoud dans le film 'Roubaix, une lumière' de Arnaud Depleschin.