Issu d'une famille pauvre du sud de Londres, le petit Maurice Micklewhite se passionne très tôt pour le théâtre. A 18 ans, il est enrôlé dans les forces britanniques et est envoyé en Corée. A son retour, il exerce quelques petits jobs (garçon de course, accessoiriste...) et joue dans des théâtres régionaux. Il participe également à de très nombreuses pièces pour la télévision et adopte rapidement un nom de scène, en référence à son film préféré, Ouragan sur le Caine (1954) de Edward Dmytryk.
C'est en 1956 qu'il fait ses débuts au cinéma, dans Commando en Corée de Julian Amyes. Après une quinzaine d'apparitions, il se retrouve enfin en haut de l'affiche avec Zoulou (1964) de Cy Endfield. Mais c'est l'année suivante qu'il connaît la consécration pour Ipcress, danger immédiat (1965), film d'espionnage dans lequel il interprète Harry Palmer, un agent secret à l'opposé de James Bond. Il reprendra ce rôle dans Mes funérailles à Berlin et Un cerveau d'un milliard de Dollars. A la même époque, l'acteur asseoit définitivement sa notoriété avec Alfie, le dragueur, une prestation de séducteur pour laquelle il reçoit une nomination aux Oscars, puis avec Que vienne la nuit d'Otto Preminger, aux côtés de Jane Fonda.
A partir des années 70, Caine tourne davantage aux Etats-Unis sans pour autant devenir une grande star hollywoodienne. Soldat anglais combattant aux Nouvelles Hébrides pendant la Deuxième Guerre mondiale dans Trop tard pour les héros (1970), il est un gangster réclamant vengeance dans La Loi du milieu (1971), un coiffeur piégé par le mari de sa maîtresse dans Le Limier (1972) ainsi qu'un chasseur de trésor dans L'Homme qui voulut être roi (1975). Durant la décennie suivante, Michael Caine continue de tourner à un rythme effréné. Parmi ses performances marquantes : celles d'un psychiatre dans Pulsions (1980), d'un dramaturge mal intentionné dans Piège mortel (1982) ou d'un entraîneur de football dans un camp de prisonniers allemand dans A nous la victoire (1981) de John Huston.
Frôlant l'Oscar pour L'Education de Rita en 1984, Michael Caine remporte la fameuse statuette en 1987 en donnant la réplique à Mia Farrow dans Hannah et ses soeurs de Woody Allen. Capable d'autodérision, il se montre également à l'aise dans la comédie, enchaînant C'est la faute à Rio (1984), Le Plus escroc des deux (1988) et Elémentaire, mon cher... Lock Holmes (id.), où il campe un Sherlock Holmes plutôt inhabituel. En 1995, il tourne coup sur coup deux films dans lesquels il reprend le rôle d'Harry Palmer : Bullet to Beijing de Georges Mihalka et Midnight in St Petersburg de Douglas Jackson.
On le voit ensuite aux côtés de Jack Nicholson dans Blood and wine (1996), d'Ewan McGregor dans Little voice (1998) et de Geoffrey Rush dans Quills - la plume et le sang (2000). En 2000, il remporte un deuxième Oscar, toujours pour un second rôle, grâce à L'Oeuvre de Dieu, la part du diable de Lasse Hallström. Acteur vétéran, la jeune génération le réclame comme partenaire de jeu : Sandra Bullock pour Miss Détective (2001), Mike Myers pour Austin Powers dans Goldmember (2002) et Brendan Fraser pour Un Américain bien tranquille (2003). Norman Jewison le dirige en ancien tortionnaire nazi dans le thriller Crime contre l'Humanité en 2003.
Père de Nicolas Cage dans The Weather Man, Michael Caine se spécialise, depuis quelques années, dans les rôles de mentor, que ce soit dans l'adaptation de la série Ma sorcière bien-aimée, Les Fils de l'homme d'Alfonso Cuaron, ou dans Batman Begins dans lequel il reprend le rôle du majordome de Bruce Wayne/Batman, Alfred Pennyworth (tenu, avant lui, par Michael Gough), et collabore pour la première fois avec Christopher Nolan et Christian Bale, qu'il retrouve ensuite à l'occasion du Prestige et de The Dark Knight, suite des aventures de l'homme chauve-souris. Opposé à Laurence Olivier dans Le Limier, en 1972, Michael Caine reprend en 2008 le rôle tenu par ce dernier, dans le remake réalisé par Kenneth Branagh, tandis que Jude Law se glisse, pour la seconde fois (après Irrésistible Alfie) dans la peau d'un personnage créé par celui qui s'oppose à lui dans le film.
En 2010, il fait équipe pour la quatrième fois avec Christopher Nolan sur Inception, un film mélangeant le thriller et la science-fiction, avec Leonardo DiCaprio et Marion Cotillard en tête d'affiche.