Anatoli Papanov naît dans une famille d’ouvriers à Viazma dans la région de Smolensk. Quand sa famille s’installe à Moscou, le jeune homme joue dans un groupe de théâtre amateur. Après l’école, il travaille dans une usine, ce qui lui permet d’étudier au studio d’art dramatique pour ouvriers. De temps en temps il fait de la figuration dans des films de Mosfilm, dont Lenine en Octobre et Souvorov. Mais arrive la guerre et Papanov part pour le front. En 1942 il est grièvement blessé à la jambe et rentre à Moscou. Il s’inscrit à l’Institut d'Art du Théâtre de Moscou (ГИТИС) qu’il termine en 1946.
Le 20 mai 1945, il épouse l’actrice Nadezhda Karavaeva. Tous deux entrent dans la troupe du théâtre dramatique russe de Klaïpeda (Lituanie). A partir de 1948, Papanov joue au théâtre Satyre de Moscou. Il a en 1952 un petit rôle dans le film de Grigori Alexandrov Compositeur Glinka, mais sa véritable carrière commence en 1961 avec quatre films en même temps dont la comédie d’Eldar Riazanov L’homme de nulle part.
Les rôles qui lui sont proposés sont dus à sa voix et à son physique très particuliers. Souvent Papanov joue des rôles de bureaucrates, d’insolents, de petits bourgeois.
Mais dans Les Vivants et les Morts en 1963, il montre sa capacité à jouer de grands rôles dramatiques. Pour son interprétation du général Fiodor Serpiline, il reçoit en 1966 la prime de l’Etat russe des frères Vassiliev. Par ailleurs, il excelle dans les rôles comiques et ses duos avec Andreï Mironov sont remarquables.
On les voit ensemble dans Les douze chaises en 1977, Attention, automobile en 1967, Un bras en diamant en 1968. Il a beaucoup de succès lorsque, en 1967, il prête sa voix au loup dans la série culte de dessins animés Nou, pogodi ! et par la suite il est souvent interpellé par des gens qui, en le voyant, lui adressent les répliques très populaires du loup et le lièvre. Doté d’un grand sens de l’humour, Papanov lui-même est une inépuisable source de plaisanteries. Il fait la voix de plusieurs personnages de dessins animés et chante même dans Le Bateau volant. D’ailleurs plusieurs de ces chansons sont rassemblées dans un CD de la série Le Comédien et le chanson.
Le film La Gare de Biélorussie lui permet encore une fois de montrer son talent dans les rôles dramatiques. Mais le plupart de ses rôles restent comiques.
Au cours des dernières années de sa vie, Papanov enseigne à l’Institut d'Art du Théâtre de Moscou (ГИТИС).
Dans son dernier film L'Été froid de l'année 53 où il jouait le rôle de Kopalitch, il disait : “je désire tellement vivre encore plus… et travailler encore plus”. Il meurt avant que le film ne soit terminé.
