Kao učenik bogoslovije pristupio je socijaldemokratskim kružocima, potom boljševicima. Prije Oktobarske revolucije 1917. organizovao je akcije terorista koji su, prema nalogu vođe boljševika Vladimira Lenjina, izvodili razbojničke napade na banke i konvoje radi pljačke novca.
U partijski Politbiro i Vojno-revolucionarni komitet je ušao u oktobru 1917, a od aprila 1922. do smrti u martu 1953. bio je generalni sekretar partije. Poslije smrti Lenjina u januaru 1924. vješto je koristio borbe u partijskom vrhu i jednog po jednog fizički je – uglavnom poslije montiranih političkih procesa – eliminisao, sve koji bi mogli da mu ugroze vlast.
Vremenom je to postao razrađen sistem terora s ogromnom mrežom zatvora i koncentracionih logora u koje su slati milioni ljudi. Izgradio je kult svoje ličnosti u SSSR-u, što je postepeno zahvatilo gotovo sve komunističke partije u svijetu. Čistke je započeo 1934. i likvidao je praktično sve stare boljševike, partijske, državne i armijske rukovodioce, mnoge rukovodioce Kominterne i čitava rukovodstva stranih komunističkih partija, uključujući jugoslovensko.
U ratu protiv nacističke Njemačke i njenih saveznika od 1941. do 1945. bio je vrhovni komandant oružanih snaga, učestvovao je na međunarodnim konferencijama u Teheranu, na Jalti i u Potsdamu, prihvatio je podjelu interesnih sfera poslije Drugog svjetskog rata u Evropi i Aziji.
Stvorio je 1947. Informacioni biro komunističkih partija, pomoću kojeg je nastojao da obezbijedi uticaj u komunističkom svijetu poslije raspuštanja Kominterne i 1948. je pokušao da se obračuna s jugoslovenskim rukovodstvom. Doprinio je zaoštravanju međunarodnih odnosa u vrijeme hladnog rata i okrnjio je ogroman ugled SSSR stečen odlučujućom ulogom u slamanju fašizma u Drugom svjetskom ratu.