Natif de la Californie du sud, Robert Selden Duvall est le second des trois fils de l'amiral William Howard Duvall. Très jeune, il est poussé par ses parents vers une carrière de comédien. C'est ainsi qu'il part pour New York après avoir obtenu un diplôme en arts dramatiques du Principia College, dans l'Illinois, et débute sur les planches de Broadway en 1955. Il étudie sous la tutelle de l'acteur Sanford Meisner (décédé en 1997) au théâtre du Neighborhood Playhouse. Sa performance dans la pièce Vu du pont en 1957 est, selon Duvall lui-même, la clef qui lui ouvre les portes d'une brillante carrière cinématographique.En 1963, il décroche son premier rôle au grand écran, en interprétant Boo Radley, l'effrayant voisin attardé qui finit par sauver les enfants Du Silence et des Ombres, dans lequel Gregory Peck tient le haut de l'affiche. Il retrouve la star de Moby Dick un an plus tard dans Le Combat du Capitaine Newman, où il joue cette fois le rôle du capitaine Paul Cabot Winston.Après une succession de films trop médiocres pour son talent, il renoue quelque peu avec le succès en choisissant ses rôles plus judicieusement, grâce notamment à Nestor, un flic new-yorkais qui s'acharne sur les homosexuels dans Le Detective en 1968, aux cotés de Frank Sinatra, ou le chauffeur de taxi Weissberg dans Bullitt avec Steve McQueen (1969).Un nouveau rôle de policier l'attend en 1969, avec Les Gens de la pluie de Francis Ford Coppola. Il y incarne un flic arrogant, mais au coeur tendre. 1971, Robert Duvall est THX 1138 dans le film homonyme de George Lucas (et produit par Francis Ford Coppola), et essaye de s'échapper loin d'une société futuriste ayant bannie le sexe et l'amour. Suivent Le Parrain en 1972 et sa suite (1974), dans lesquels il retrouve Coppola en incarnant l'avocat, confident de Don Corleone (Marlon Brando), Tom Hagen.Oscarisé en 1983 pour son rôle d'ancien alcoolique dans Tendre Bonheur, il reçoit également le Golden Globe du meilleur second rôle pour Apocalypse Now de Coppola (1979) dans lequel il est l'inoubliable lieutenant colonel William ?Bill' Kilgore.Robert Duvall, à travers les rôles qui ont jonchés sa carrière, est l'archétype du dur au coeur tendre. A nouveau flic dans Colors aux cotés de Sean Penn en 1988, plus récemment scientifique dans A l'aube du 6ème jour avec Arnold Schwarzenegger (2000), il est aussi à l'affiche de John Q de Nick Cassavetes en 2002, année durant laquelle il réalise également son quatrième film après Le Predicateur en 1997 : Assassination Tango, l'histoire d'un tueur à gages (interprété par Duvall) qui se découvre une passion pour le tango.
Après avoir été le père pour le moins compétitif de Will Ferrell dans la comédie familiale Match en famille, puis celui de Vince Vaughn dans Tout... sauf en famille. Après une apparition brève mais bouleversante dans La Route (2009), et un caméo clin d’œil à son rôle de Tendre bonheur dans Crazy Heart, il joue dans Get Low, inspiré d’une histoire vraie, un vieil ermite mystérieux dans les États-Unis des années 30 lui vaudra plusieurs nominations du meilleur acteur.