Enfant des montagnes, Jean-François Balmer est né à Valangin, en Suisse. Persuadé que pour être un bon comédien il faut au préalable avoir tout essayé, entre quinze et vingt-quatre ans, il enchaîne alors les boulots. Ponceur, livreur, serveur, sonneur de cloches, guide de montagne, il essaye tout. Après avoir suivi des études de commerce, pour réaliser son rêve, il finit par monter à Paris et entame des études d'art dramatique au Conservatoire, où il se retrouve dans la même promotion que Daniel Mesguich et Jacques Weber.
À sa sortie du Conservatoire, il décroche des petits rôles dans R.A.S. (1973), sous la direction de Michel Deville dans Le Mouton enragé (1974) aux côtés de Jean-Louis Trintignant, Jean-Pierre Cassel, Romy Schneider, et dans Peur sur la ville (1975) d'Henri Verneuil auprès de Jean-Paul Belmondo. Parallèlement, on le voit au théâtre où il débutera dans Le Mariage de Figaro (1973), mis en scène par son ami Jacques Weber.
Malgré sa prestation dans La Menace (1977) d'Alain Corneau, qui lui vaut le César du meilleur second rôle masculin, il reste cantonné à des seconds rôles. Il interprète un flic ripoux dans Flic ou voyou (1978) réalisé par Georges Lautner où il retrouve à nouveau Jean-Paul Belmondo, on l'aperçoit aussi en flic dynamique dans Neige (1981) de Juliet Berto, ou encore en secrétaire de Catherine Deneuve dans L'Africain. Il signe sa toute première collaboration avec Claude Chabrol dans Le Sang des autres (1983).
C'est le metteur en scène Jacques Bral qui lui permet à l'âge de trente-huit ans d'obtenir son premier grand rôle, en interprétant le détective Eugène Tarpon dans Polar (1984). Pour Jean-François Balmer, c'est enfin la reconnaissance du public! Il poursuit avec L'Amour ou presque (1985) où il obtient le rôle principal, et offre une composition bluffante de Louis XVI dans La Révolution française (1989), s'imposant comme la grande révélation du film. Il retrouve Claude Chabrol en mari d'Isabelle Huppert, dans Madame Bovary (1991), mais également des années plus tard dans Rien ne va plus (1997), L'Ivresse du pouvoir (2005) et Lucifer et moi (2008), interprétant des rôles certes inoubliables, mais très sombres. L'acteur s'essaie dans un registre plus comique en donnant la réplique à Laetitia Casta et Mathieu Amalric dans Le Grand appartement.
Cette percée dans le cinéma ne l'empêche pas, tout au long de sa carrière, de multiplier les apparitions tant au théâtre, qu'à la télévision.
