Josh est le fils de l'acteur américain James Brolin et de Jane Cameron Agee, une activiste écologique. Il grandit dans un ranch, à l'écart de la célébrité de son père1. Ses parents divorcent quand il a 16 ans. Après la mort accidentelle de sa mère, son père se marie ensuite avec la chanteuse Barbara Streisand.
Sa carrière est lancée en 1985 avec le film Les Goonies de Richard Donner, dans lequel il incarne Brand, le « grand frère » de la bande. Suite au succès du film, il est envisagé pour être la vedette de la série 21 Jump Street. C'est finalement son ami Johnny Depp qui obtient le rôle. Brolin apparaîtra cependant dans un épisode de la 1re saison2.
Il apparaît ensuite dans d'autres séries comme Les Routes du paradis et dans quelques téléfilms. Après des critiques négatives sur sa performance dans Skate Gang en 1986, il quitte le « système » et se produit quelque temps dans un théâtre de Rochester dans l'État de New York avec son ami et mentor Anthony Zerbe.
En 1989, il décroche un rôle récurrent de la série western L'Équipée du Poney Express, diffusée sur ABC, où il incarne James Butler Hickok. La série durera jusqu'en 1992. Il joue ensuite dans Winnetka Road, une série produite par Aaron Spelling, qui s'arrête au bout de quelques épisodes.
En 2003, il est la vedette de la série Mister Sterling, où il incarne un sénateur. En raison du peu d'audience, la série s'arrête à 10 épisodes seulement.
Il joue peu à peu dans des films, avec le plus souvent des rôles de méchants, à l'instar de Planète Terreur de Robert Rodriguez en 2007, ou de Bleu d'enfer (2006). Il collabore également avec de grands metteurs en scène, comme Paul Verhoeven pour Hollow Man (2001), Woody Allen pour Melinda et Melinda (2004), les frères Coen pour No Country for Old Men (2007), Ridley Scott pour American Gangster (2007).
En 2008, il écrit et réalise le court-métrage X. La même année, Oliver Stone lui offre le rôle du Président américain George W. Bush dans W. : L'Improbable Président. Il retrouve le réalisateur en 2010 dans Wall Street : L'argent ne dort jamais, la suite de Wall Street (1987). Il incarne également le super-héros Jonah Hex dans le film du même nom. Il retrouve ensuite les frères Coen pour True Grit, une réadaptation du roman de Charles Portis, déjà porté à l'écran en 1969 dans Cent dollars pour un shérif, avec John Wayne.
En 2012, il incarne le jeune agent K (également joué par Tommy Lee Jones) dans Men in Black 3.
En 2013, il retrouve Sean Penn avec qui il avait joué dans Harvey Milk, mais cette fois dans Gangster Squad, l'adaptation du livre Tales from the Gangster Squad de Paul Lieberman. Il collabore ensuite avec Spike Lee et endosse le rôle de Joe Doecett dans Oldboy, un remake du film coréen Old Boy (2003) de Park Chan-wook. On le retrouve également aux côtés de Kate Winslet dans Last Days of Summer de Jason Reitman.
La même année, Josh Brolin se glisse dans la peau de Dwight pour les besoins de Sin City : j'ai tué pour elle.
Incarnant un agent du gouvernement américain en guerre contre les cartels de drogue dans Sicario (2015) et sa suite (2018), Josh Brolin campe parallèlement le grand méchant Thanos du très attendu blockbuster Marvel Avengers: Infinity War qui sort en avril 2018. Quelques semaines plus tard, on peut le voir dans la peau du cyborg Cable, un autre film de super-héros.