Après des études de cinéma à l'Institute of Film and TV de New York, Joel Coen commence sa carrière comme assistant monteur sur le film d'horreur Evil Dead de Sam Raimi. En 1984, il écrit avec son frère Ethan son premier long-métrage, Sang pour sang, auréolé du Grand Prix du Festival de Sundance. Les thèmes récurrents à son style sont déjà implantés : cynisme, sens de l'absurde, suspense omniprésent, humour noir féroce. Joel Coen signe ensuite Arizona Junior et Miller's Crossing, mais c'est Barton Fink, en 1991, qui lui apporte la consécration, le film recevant la Palme d'Or du Festival de Cannes. Le cinéaste, indissociablement lié à son frère Ethan, devient alors extrêmement populaire dans le milieu du septième art mais parvient à garder une indépendance créative salutaire. Il n'est désormais plus Joel Coen aux yeux du public et de la profession : ceux-ci plébiscitent désormais "les frères Coen". Le duo se distingue avec Le Grand Saut, Fargo, l'absurde The Big Lebowski ou encore la comédie loufoque O'Brother, portée par un George Clooney qu'ils retrouvent en 2003 pour Intolérable cruauté. C’est à partir de leur film suivant, Ladykillers, que Joel est crédité en tant que producteur alors que son frère est crédité aussi comme réalisateur. Ils exerçaient pourtant tous deux ces fonctions en sous-main depuis leur premier film. De même, ils sont leurs propres monteurs sous le pseudonyme de "Roderick Jaynes". Ainsi adeptes d'un cinéma très personnel, les frères Joel et Ethan Coen étendent cet esprit de « famille » en s'entourant régulièrement des mêmes collaborateurs. Derrière la caméra ils sont fidèles à Roger Deakins, leur directeur de la photographie depuis Barton Fink, comme à Carter Burwell, qui est leur compositeur attitré depuis leur premier film. Devant la caméra on retrouve notamment Steve Buscemi, John Turturro, John Goodman, George Clooney ou Frances McDormand, cette dernière étant d'ailleurs la compagne de Joel Coen à la ville.
Habitués de la Croisette, ils sont choisis pour participer au projet Chacun son cinéma, une compilation de courts métrages de grands réalisateurs projetée à l'occasion du 60e anniversaire du Festival. Une édition où ils présentent également en Compétition No Country for Old Men - Non, ce pays n'est pas pour le vieil homme, un drame sanglant adapté d'un roman de Cormac McCarthy qui contraste durement avec la légèreté de leurs précédents longs-métrages. Le film est un triomphe : il reçoit une moisson de prix à travers le monde, dont 4 Oscars pour le Meilleur scénario adapté, le Meilleur réalisateur, Meilleur second rôle pour Javier Bardem et celui du Meilleur film. Après le potache et mineur Burn After Reading (2008), les frères Coen reviennent en 2010 avec une comédie dramatique : A Serious Man. Ils font ensuite une franche incursion dans le western - genre qu'ils ont souvent effleuré dans leurs films, avec True Grit, remake d'un film avec John Wayne de 1969, 100 dollars pour un shérif, occasion de retrouver Jeff Bridges qui avait été pour eux en 1998, "The Big Lebowski".
Les deux frères signent ensuite le mélancolique Inside Llewyn Davis qui raconte le parcours d'un jeune chanteur de folk dans l'univers musical de Greenwich Village en 1961. Pour l'occasion, il font tourner les très à la modes Oscar Isaac et Carey Mulligan. En 2016 sort en salles Ave, César!, troisième volet d'une trilogie entammée avec O'Brother et Intolérable cruauté dans lequel il retrouvent plusieurs de leurs comédiens fétiches comme George Clooney ou Frances McDormand.
Co-Président du Festival de Cannes 2015 avec son frère cadet Ethan Coen.
