Issu d'une famille d'artistes (son père était un célèbre sculpteur et sa mère artiste peintre), il pense faire une carrière sportive puis s'oriente vers la comédie et entre au conservatoire national d'art dramatique en 1951. Il apparaît pour la première fois dans Sois belle et tais-toi (Marc Allegret) et Les Tricheurs (Marcel Carné) en 1958.
Son premier rôle important lui est confié par Claude Sautet dans Classe tous risques et la révélation naît surtout avec A bout de souffle de Jean-Luc Godard en 1959. Dés lors il se révèle un acteur aux multiples facettes et tient des rôles variés, dirigé par les plus grands réalisateurs. En 1961 il est Leon Morin, pretre pour Jean-Pierre Melville puis il joue dans Un singe en hiver de Henri Verneuil.
Par ailleurs il enchaîne les films à succès tels L' Homme de Rio de Philippe de Broca (1964), (1966), La Sirene du Mississippi de François Truffaut (1969) ou Borsalino de Jacques Deray (1970). Il incarne même des rôles inattendus comme dans Pierrot le Fou de Godard en 1965 ou à contre emplois tel Stavisky pour Alain Resnais en 1974. Il exécute toutes les cascades de ses films, notamment dans Peur sur la ville d'Henri Verneuil et multiplie au tournant des années 80 les triomphes au box-office, avec Georges Lautner pour Flic ou voyou ou Le Professionnel ou encore avec Gerard Oury pour L' As des As en 1982.
Claude Lelouch lui offre des rôles emblématiques (Itinéraire d'un enfant gâté en 1988 ou Les Misérables en 1995) mais il n'abandonne pas l'action ou ses anciens partenaires : on le retrouve auprès d'Alain Delon en 1998 dans Une chance sur deux de Patrice Leconte même si le succès est moins au rendez-vous qu'au théâtre où l'acteur rencontre un véritable triomphe. Ce qui ne l'empêche pas de répondre à l'appel de Bertrand Blier et de participer aux Acteurs en 2000.
Jean-Paul Belmondo fait son grand retour au cinéma en 2009, aux côtés de Francis Huster qui réalise aussi le film, dans Un homme et son chien, drame dans lequel il interprète un homme qui se retrouve à la rue du jour au lendemain seul avec son chien.
Il s'éteint à son domicile parisien le 6 septembre 2021