Natif du New Jersey, Ed Harris commence à s'intéresser au théâtre durant ses études à l'Université de l'Oklahoma. Au début des années soixante-dix, il s'établit à Los Angeles et entre au California Institute of the Arts, où il obtient sa licence en 1975. Il s'illustre alors dans de nombreux spectacles, dont Un tramway nommé Désir et Hamlet.Après quelques apparitions dans des séries télévisées, Ed Harris obtient son premier rôle au cinéma en 1978 dans Morts Suspectes de Michael Crichton. En 1981, il est la vedette de Knightriders de George A. Romero, qu'il retrouve en 1982 (Creepshow).A compter de cette période, il mène de front sa carrière théâtrale et sa carrière cinématographique. Il est spationaute dans L'Etoffe des heros (1983) de Philip Kaufman et Apollo 13 (1995) de Ron Howard. Il affronte les profondeurs de l'océan dans le film fantastique Abyss (1989) de James Cameron. Il fait une incursion dans le thriller paranoiaque avec La Firme (1993) de Sydney Pollack. Il est un militaire vindicatif dans Rock (1996) de Michael Bay et Stalingrad de Jean-Jacques Annaud. Parfait en policier, il est tantôt abusé dans Lune rouge (1994) de John Bailey, tantôt perspicace dans Les Pleins Pouvoirs (1997) de Clint Eastwood. Il se prend pour une sorte de Dieu des temps modernes dans The Truman Show de Peter Weir. En 2000, il est un agent secret trouble dans Un homme d'exception et retrouve Ron Howard. Il réalise son premier long-métrage, Pollock en 2000. Dans cette biographie du peintre américain Jackson Pollock, Harris tient le rôle principal aux côtés de son épouse Amy Madigan, et obtient une nomination pour l'Oscar du meilleur premier rôle.Trois de ses films lui valent une nomination pour l'Oscar du meilleur second rôle masculin : Apollo 13, The Truman Show et The Hours (2002, Stephen Daldry).
En 2005, il incarne un mafieux défiguré à la poursuite de Viggo Mortensen dans A history of violence de David Cronenberg, présenté au festival de Cannes. L'année d'après, il se met une fois encore dans la peau d'un célèbre artiste, interprétant le compositeur Ludwig van Beethoven dans une biographie fictive, Copying Beethoven, aux côtés de Diane Kruger, qu'il retrouve en 2007 dans Benjamin Gates et le Livre des Secrets.
L'acteur se consacre dorénavant à la réalisation de son deuxième film, Appaloosa, un western qu'il tourne au Mexique, avec Viggo Mortensen, Renée Zellweger et Diane Lane, et dans lequel il joue également. On peut aussi voir Ed Harris dans Gone Baby Gone de Ben Affleck (2007), où il endosse à nouveau le rôle d'un enquêteur tenace. Il réitère l'expérience dans Cleaner, pour lequel il partage l'affiche avec Samuel L. Jackson et Eva Mendes. Dans Les Chemins de la liberté (2010), le comédien joue, aux côtés de Colin Farrell et Jim Sturgess, un prisonnier solide et aguerri prêt à parcourir des milliers de kilomètres à pieds pour rejoindre l'Inde depuis un camp de Sibérie. L'année suivante, il campe un ignoble homme d'affaires dans le thriller Dos au Mur.
2013 est une année éclectique pour Ed Harris, dont l'indémodable "gueule" est toujours très sollicitée. Il participe en effet à No Pain No Gain de Michael Bay, est la tête d'affiche du western Sherif Jackson, et apparaît également au casting du film de science-fiction réalisé par Bong Joon Ho, Le Transperceneige.
Ses premiers pas à l'écran