Issue d'un milieu aisé (son père Albert est un physicien de renom), Elsa Zylberstein intègre, une fois son baccalauréat en poche, la classe libre du cours Florent menée à l'époque par Francis Huster. Cette initiation achevée, elle fait ses premiers pas au cinéma en 1988 dans le film semi-autobiographique de René Féret, Baptême. En 1991, Maurice Pialat la choisit pour interpréter Cathy, l'amie prostituée de Van Gogh, rôle qui lui vaut une première nomination aux Césars en tant que meilleur espoir féminin.Dès lors, elle enchaîne les tournages avec des cinéastes aussi différents que Christian Vincent (Beau fixe), Jacques Doillon (Amoureuse), ou Pascale Bailly (Comment font les gens). Néanmoins, le grand public ne la découvre réellement qu'en 1994 avec Mina Tannenbaum (Martine Dugowson) aux côtés de Romane Bohringer, chronique douce amère sur l'amitié entre deux femmes de leur adolescence à l'âge adulte.Faisant partie de la même génération d'actrices que Sandrine Kiberlain, Isabelle Carré, et Chiara Mastroianni, Elsa Zylberstein accepte par la suite des projets plus ambitieux comme Farinelli ou Jefferson à Paris. En 1996, elle tient le rôle principal d'Un samedi sur la Terre, premier film de Diane Bertrand à la limite de l'expérimental, puis tourne dans deux comédies familiales: Tenue correcte exigée et XXL aux côtés de Gérard Depardieu.Se tournant vers des oeuvres de plus en plus intimistes, elle donne la réplique à Antoine de Caunes en 1998 dans la comédie de moeurs de Jean-Jacques Zilbermann : L'Homme est une femme comme les autres, avant d'interpréter Suzane Valadon dans Lautrec, film qui reconstitue la vie du célèbre peintre. Séduit par son visage à la fois juvénile et charnel, Raoul Ruiz la met en scène à deux reprises, d'abord en 1999 dans Le Temps retrouvé, puis l'année suivante dans Combat d'amour en songe, une fable étrange et onirique. En 2002, Antoine De Caunes offre à Elsa Zylberstein le rôle d'Albine de Montholon dans Monsieur N., reconstitution historique de la détention de l'empereur Napoléon sur l'île de Sainte-Hélène. L'année suivante, dans un autre registre, elle donne la réplique à Thierry Lhermitte dans Qui perd gagne !, une comédie policière ayant pour cadre l'univers du jeu.
Faisant preuve d'un remarquable éclectisme, la comédienne passe d'un film d'Akerman à une comédie avec Kad Merad (J'invente rien, 2006), d'une variation très personnelle autour d'un roman de Christine Angot (Pourquoi (pas) le Brésil de Laetitia Masson) à une superproduction inspirée d'un best-seller (Le Concile de pierre). En 2008, elle est à l'affiche de deux chroniques très contemporaines présentées au Festival de Berlin, Il y a longtemps que je t'aime et La Fabrique des sentiments.
Après avoir reçu un César de la Meilleure actrice dans un second rôle couronnant sa performance dans Il y a longtemps que je t'aime, elle retrouve en 2009 Antoine de Caunes dans la suite de L'homme est une femme comme les autres, intitulée La Folle histoire d'amour de Simon Eskenazy. Cette même année, elle intègre l'univers de la série Vénus et Apollon, le temps de huit épisodes, dans le rôle d'une femme complexe, presque psychotique. Elsa Zylberstein se montre ensuite de plus en plus à l'aise dans les comédies ; après avoir vécu Les Tribulations d'une caissière, , où elle devient folle de JC Comme Jésus Christ, un adolescent réalisateur aussi prétentieux que célèbre ; elle assiste ensuite à un mariage qui tourne mal dans Plan de table, avec Franck Dubosc et Audrey Lamy avant de chercher Les têtes de l'emploi, toujours avec Dubosc et François-Xavier Demaison.
Elsa Zylberstein se fait ensuite plus discrète et n'apparaît que dans quelques seconds rôles, y compris à l'international (Les lignes de Wellington, À votre bon coeur mesdames, Gemma Bovery). C'est Claude Lelouch qui lui offre un retour au premier plan avec Un + Une, une histoire d'amour passionnée qu'elle partage avec Jean Dujardin. Le début d'année 2017 est particulièrement chargé pour la comédienne : on la retrouve successivement dans des films très différents : le drame historique Un sac de billes, le nouveau Lelouch Chacun sa vie et la comédie populaire À bras ouverts.