Après avoir passé sa jeunesse dans le Queens à New York, James Caan intègre la Michigan State University à l'âge de seize ans pour y étudier l'économie et jouer au football américain. Il s'oriente ensuite vers une formation juridique à la Hofstra University, mais une audition lui permet d'entrer au Neigborhood Playhouse de Sanford Meisner. Il obtient par la suite une bourse pour étudier avec Wynn Handman et décroche les quatre premiers rôles pour lesquels il est auditionné.James Caan débute sur scène en 1961 dans La Ronde puis joue à Broadway Mandingo et Blood, sweat and Stanley Poole. Il fait sa premère apparition au cinéma dans Irma la Douce (1963) de Billy Wilder et après un passage remarqué dans deux longs métrages de Howard Hawks (Ligne rouge 7000 (1965) et El Dorado (1967) aux côtés de John Wayne), il se retrouve en tête d'affiche des Gens de la pluie (1969) de Francis Ford Coppola.Après sa brillante prestation de footballeur trépané, il tourne à nouveau sous la direction de Coppola dans Le Parrain, où dans le rôle du brutal Sonny Corleone il forme un étonnant contraste avec l'autre fils, plus intellectuel, interprété par Al Pacino. Cette fresque familiale l'impose à Hollywood et lui permet d'être nommé en 1972 à l'Oscar du second rôle masculin. Désormais acteur de tout premier plan, il incarne un professeur d'université en proie au démon du jeu dans Le Flambeur (1974) et donne la réplique à Barbra Streisand dans la comédie musicale Funny Lady (1975) de Herbert Ross.En 1975, son passé de grand sportif permet à James Caan d'endosser des rôles particulièrement physiques : il effectue ses propres cascades dans le futuriste et violent Rollerball de Norman Jewison et pratique les arts martiaux pour les besoins de Tueur d'élite, film d'espionnage de Sam Peckinpah. L'année d'après, il rejoint le prestigieux casting d'Un pont trop loin (1977) et se fait diriger par Claude Lelouch dans Un autre homme, une autre chance (id.), mélange de romance et de western avec pour toile de fond les Etats-Unis des années 1870. Les deux hommes collaboreront à nouveau ensemble sur Les Uns et les autres en 1981. En 1980, James Caan se met pour la première et unique fois en scène dans L' Impossible témoin qui s'avère être un échec commercial. Malgré tout, il poursuit sa carrière cinématographique en jouant les as de la cambriole dans Le Solitaire (1981) de Michael Mann. Après une absence de cinq ans à l'écran, il retrouve le réalisateur qui l'a révélé internationalement, Francis Ford Coppola, pour les besoins de Jardins de pierre (1987), un drame militaire ayant pour cadre la guerre du Vietnam. Il enchaîne avec le tournage de Futur immédiat Los Angeles 1991 (1988), où il incarne un officier de police collaborant avec un extraterrestre, puis interprète le gangster Spaldoni face à Warren Beatty dans la comédie policière Dick Tracy (1990).Dans les années 90, James Caan se montre plus prolifique : il est tour à tour l'écrivain Paul Sheldon retenu prisonnier par Kathy Bates dans Misery (1990), l'adaptation cinématographique du roman de Stephen King, la grande vedette de music-hall Eddie Sparks dans For the boys (1991), le père meurtrier de Dennis Quaid dans Flesh and bone (1993) ou encore le mentor et adversaire d'Arnold Schwarzenegger dans L'Effaceur (1996). L'acteur aux larges épaules fait également preuve d'un charisme remarquable lorsqu'il s'agit d'interpréter un employeur peu recommandable dans The Yards (2000) ou un homme de main chargé des basses besognes dans Way of the gun (id.). Ces rôles plutôt graves ne l'empêchent toutefois pas de jouer dans des films plus légers comme Mickey les yeux bleus (1999), où il s'autoparodie en parrain mafieux, et Elfe (2003), où il se glisse dans la peau d'un sinistre éditeur père d'un drôle d'individu (Will Ferrell) élevé chez des lutins.