Fils de l'acteur Fred Rains à qui il doit sa passion de comédien, Il est aussi issu d'une famille de douze enfants dont seuls trois survécurent. Gazé durant la Première Guerre mondiale, il restera presque aveugle d'un œil.
Sir Herbert Beerbohm Tree, fondateur de l'Académie Royale d'Art Dramatique, reconnaît son talent d'acteur et lui paie des leçons afin de corriger son élocution (Rains était affublé d'un terrible accent cockney et était de plus incapable de prononcer le son « r »).
C'est pourtant grâce à sa voix riche et profonde qu'il se fait connaître à Hollywood, dans un rôle où on ne découvre son visage qu'à la dernière scène, puisqu'il s'agit de "L'homme invisible" de James Whale. A partir de 1936 , engagé par la Warner, il se voit confier toute une série de personnages sombres. Il incarne un sénateur corrompu dans "Mr. Smith au Sénat" (Mr. Smith Goes to Washington) (1939), un policier véreux dans le très célèbre "Casablanca" (1942), rôles dans lesquels il excelle et spécialité qui lui vaudra quatre nominations aux Oscars.
Par la suite, les studios Universal lui confient le rôle titre dans le remake de 1943 du "Fantôme de l'opéra", où il succède à une star du cinéma muet d'horreur : Lon Chaney, l'homme aux mille visages (il avait auparavant tourné avec le fils de ce dernier, Lon Chaney Jr, dans "Le Loup-garou").
En 1946, dans "Les enchaînés", Hitchcock exploite parfaitement l’expressivité émotive de l’acteur, dont le visage parvient à traduire avec une grande subtilité toute une palette de sentiments contraires. Truffaut note à propos de son jeu dans "Notorious" : « C’est assez touchant ce petit homme amoureux d’une grande femme ». Dans ce rôle de composition qui lui vaut une nouvelle nomination aux Oscars, Rains passe avec aisance de l'expression de l’homme amoureux à celle de l’homme trahi par la même femme (Ingrid Bergman). Il doit alors dissimuler ses émotions et jouer l’homme machiavélique, et enfin, il est l’homme traqué. Tout au long de ce film, ses micro-comportements et son regard passent du rayonnement du début (retrouvailles avec Alicia) à la haine la plus féroce (trahison et désir de vengeance) pour s'achever dans la peur.
On le voit encore dans les années 50 dans divers rôles de qualité dans lesquels s’expriment toujours avec subtilité ses capacités de jeu d’acteur où l’humour, l’ironie ou la malice ne sont jamais absents.
