Passionné de comédie, Jean-Paul Rouve prend des cours de théâtre au centre dramatique du Nord-Pas-de-Calais avant de rejoindre la Cours Florent, où il a pour professeur Isabelle Nanty. C'est là qu'il fait la connaissance de ses cinq futurs comparses des "Robins des bois" en 1989. Ensemble, ils montent une farce théâtrale qui devient culte : Robin des Bois d'à peu près Alexandre Dumas, et sont bientôt repérés par Dominique Farrugia, ex-Nul et président de Comédie!. Ils animent sur cette chaîne câblée La Grosse Emission, avant de faire leurs sketchs dans Nulle Part Ailleurs, l'émission-phare de Canal +.Jean-Paul Rouve est remarqué dès sa première apparition sur grand écran en 1999 dans Karnaval, film âpre dont l'action est située dans son Dunkerque natal. Mais il se dirige rapidement vers la comédie en tournant dans Astérix et Obélix : mission Cléopâtre de Chabat, Tanguy de Chatiliez ou encore Mais qui a tué Pamela Rose ?, avec Kad et O, d'autres transfuges du petit écran. Pourtant, c'est avec un autre rôle dramatique, dans Monsieur Batignole de Gérard Jugnot (2002), que Rouve accède à la reconnaissance : sa composition d'écrivaillon collabo lui vaut le César du Meilleur jeune espoir masculin. De plus en plus sollicité, il prend part à deux des plus gros succès de 2004 : ses prestations de sosie de Polnareff dans Podium, et de postier dans Un long dimanche de fiançailles ne passent pas inaperçues. Cette année faste le voit également retrouver les Robins des Bois pour le loufoque RRRrrrr !!!, et rafler la mise dans le rôle inattendu du séducteur fielleux d'Un petit jeu sans conséquence. Devenu un acteur de premier plan, il donne la réplique à Gérard Depardieu dans la comédie Je préfère qu'on reste amis... ainsi que dans Boudu, remake réalisé par son vieux complice Jugnot.
Ils collaborent ensuite dans La Môme, dans lequel l'ex-Robin des bois joue le père de d'Edith Piaf tandis que son acolyte incarne Louis Leplée, premier agent de la chanteuse. Et pour sa première réalisation Sans arme, ni haine, ni violence (2008), sur le destin hors-norme du gangster Spaggiari, il propose à son ami de venir jouer les parrains marseillais, rôle qui ravit Depardieu.
En parallèle à cette collaboration, Rouve se retrouve en directeur de camping dans Nos jours heureux sous la direction d'Eric Toledano et Olivier Nakache, et compose, l'année suivante, deux figures paternelles pour Le Temps des porte-plumes. Ses prestations dans L'Île aux trésors (2007) et La Jeune fille et les loups (2008) témoignent par ailleurs de son goût pour l'aventure. Engagé par Olivier Baroux pour sa première réalisation Ce soir, je dors chez toi (2007), Jean-Paul Rouve fait aussi le grand saut derrière la caméra en se mettant lui-même en scène dans son premier long métrage, Sans arme, ni haine, ni violence (2008), sur le destin hors-norme du gangster Spaggiari.
Voix française de la girafe Melman dans Madagascar et ses deux suites, et du père d'Arthur dans la trilogie Arthur et les Minimoys. L'acteur-cinéaste retourne ensuite à la comédie avec deux films explorant l'univers entrepreneurial : La Très très grande entreprise (Pierre Jolivet, 2008) et Le Coach (Olivier Doran, 2009). L'année suivante, l'acteur participe à l'aventure Adèle Blanc-Sec de Luc Besson, adaptation de la célèbre bande-dessinée dans laquelle il retrouve Gilles Lellouche, son partenaire dans Sans arme, ni haine, ni violence. Il devient ensuite un auteur qui cherche l'inspiration face à Sophie Quinton dans le drame Poupoupidou avant de tenir le rôle principal d'un polar sans concession, Légitime défense. Toujours en 2011, l'acteur interprète Jeff Tuche dans la très lucrative comédie Les Tuche d'Olivier Baroux.
En 2012, Jean-Paul Rouve réalise un deuxième film, Quand je serai petit, une "comédie humaine" qu'il interprète aux côtés de Miou-Miou et Claude Brasseur et un troisième en 2014, Les Souvenirs, dans lequel il joue un patron d'hôtel avec Michel Blanc et Annie Cordy. En plus du cinéma, l'acteur fait aussi des apparitions à la télévision, notamment dans la série Scènes de ménages et le téléfilm Ce soir je vais tuer l'assassin de mon fils. Jean-Paul Rouve s'illustre en 2015 dans la comédie déjantée Les Nouvelles Aventures d'Aladin d'Arthur Benzaquen, où il joue le méchant vizir aux côtés de Kev Adams et Michel Blanc. L'année suivante, l'acteur est à l'affiche de la suite des aventures de la famille Tuche, Les Tuche en Amérique.
Là encore, le succès est au rendez-vous, puisque le long métrage génère plus de 4,6 millions d'entrées, occasionnant donc un troisième opus, Les Tuche 3 : Liberté, Egalité, FraterniTuche. Entre les deux, Rouve campe un photographe de mariage particulièrement lourd dans Le Sens de la fête et retrouve le biopic via Dalida où il incarne Lucien Morisse, qui avait partagé la vie de la célèbre chanteuse.
