Au début des années 1970, à Lubbock, il crée le groupe The Flatlanders avec Joe Ely et Butch Hancock. Le groupe joue beaucoup de concerts et enregistre un album à Nashville en 1972 mais leur producteur ne le sort pas et le groupe se sépare à la fin de l'année. Gilmore passe alors beaucoup de temps dans un âshram de Denver à étudier la métaphysique avec Prem Rawat. Il s'installe ensuite à Austin pendant les années 1980 et c'est là qu'il enregistre son premier album solo, Fair and Square, qui sort en 1988. L'album enregistré en 1972 avec les Flatlanders est finalement réenregistré en 1990.
En 1998, il fait une apparition remarquée dans le film The Big Lebowski, où il joue le rôle de Smokey, un joueur de bowling pacifiste menacé d'une arme à feu par le personnage interprété par John Goodman. La même année, il retrouve les Flatlanders à l'occasion de l'enregistrement d'une chanson du film L'Homme qui murmurait à l'oreille des chevaux1. Dès lors, Gilmore alterne entre sa carrière en solo et l'enregistrement de nouveaux albums avec les Flatlanders.
Sa version de Mack the Knife, de l'album One Endless Night figure sur la bande originale du film Un prophète de Jacques Audiard, sorti en 2009. Son fils, Colin Gilmore, est également chanteur de country.
