Jean-Paul Roussillon entre à la Rue Blanche puis au Conservatoire avant d'intégrer la Comédie Française en 1950. Parcours sans faute pour ce comédien davantage préoccupé par l'art dramatique que par le septième art.Il fait une première apparation au cinéma dans La Chair et le diable de Jean Josipovici (1953) puis dans Voici le temps des assassins de Julien Duvivier (1955). Après Week end à Zuydcoote d'Henri Verneuil en 1964, Il reste près de vingt ans sans tourner. Il revient en 1981 avec Une affaire d'hommes de Nicolas Ribowski et enchaîne sur La Truite de Joseph Losey (1982). Il est également dirigé par Jacques Deray (On ne meurt que deux fois, 1985 ; Maladie d'amour, 1987) ou encore par Maroun Bagdadi (La Fille de l'air, 1991).Eternel second rôle du cinéma français, Jean-Paul Roussillon reste cantonné à des emplois de valet comique comme Planchet dans La Fille de d'Artagnan de Bertrand Tavernier (1994), de paysan bourru (Une Hirondelle a fait le printemps de Christian Carion, 2000) et de père sympathique (On connait la chanson d'Alain Resnais, 1997). Il tient enfin un rôle de premier plan avec Mischka de Jean-Francois Stévenin en 2001.
