S'il apparaît dès 1986 dans Manège, un court-métrage de Jacques Nolot, Fréderic Pierrot trouve son premier rôle au cinéma dans La Vie et rien d'autre de Bertrand Tavernier, un cinéaste qui fera par la suite régulièrement appel à lui (L 627, Capitaine Conan). Ce comédien exigeant et passionné est bientôt à l'affiche de deux oeuvres qui retracent de grands combats pour la démocratie : la guerre d'Espagne avec Land and Freedom de l'Anglais Ken Loach (1995) puis la Révolution des Oeillets au Portugal avec Capitaines d'avril de l'actrice Maria de Medeiros.Avec son jeu subtil, mélange de détermination et de fragilité, Frédéric Pierrot est bientôt sollicité par des réalisateurs aussi prestigieux que Jean-Luc Godard (For Ever Mozart) ou Bertrand Blier. Mais ce sont les auteurs de la jeune génération qui sauront le mieux exploiter le talent de ce comédien, qui multiplie courts-métrages et téléfilms. Remarqué pour ses compositions de personnages dépressifs dans La Vie moderne de Laurence Ferreira Barbosa et Imago (jours de folie) de Marie Vermillard, il tourne dans les oeuvres mystérieuses et inventives de Laurent Cantet (le téléfilm Les Sanguinaires en 1997), Gilles Bourdos (Inquiétudes) ou encore Robin Campillo (Les Revenants). En 2004, il part au Cambodge pour Holy Lola, un film sur l'adoption qui marque ses retrouvailles avec Bertrand Tavernier.
Plusieurs seconds rôles se succèdent alors pour Frédéric Pierrot. Notamment dans Les Fourmis rouges (2006) de Stephan Carpiaux, puis dans Parlez-moi de la pluie d'Agnès Jaoui (2007) et Il y a longtemps que je t'aime (2008) de Philippe Claudel. Frédéric Pierrot marque ensuite son retour sur grand écran dans Elle s'appelait Sarah, drame de Gilles Paquet-Brenner autour de l'épisode du Vel d'Hiv, dans lequel il retrouve Kristin Scott Thomas, deux ans après Il y a longtemps que je t'aime.
Mais c'est en 2011 que la chance sourit réellement au comédien, qui enchaîne deux gros succès, montrant une fois de plus l'étendue de son talent : avec son physique un peu bourru, les femmes lui confient désormais des rôles d'homme blessé et font ressortir son humanité, comme en témoignent ses apparitions dans La Guerre est déclarée de Valérie Donzelli, où il campe un chirurgien qui met tout en oeuvre pour sauver un enfant du cancer, on encore dans Polisse de Maïwenn, qui lui offre pour l'occasion le rôle de Balloo, policier bougon à fleur de peau. Grâce à ces deux rôles marquants, l'acteur connaît un regain de popularité et continue sur sa lancée l'année suivante avec deux comédies : La Cerise sur le gâteau et Au cas où je n'aurais pas la palme d'or.
