Kliment Yefremovich Voroshilov werd geboren op 4 februari 1881 in Verhneye in de huidige Oekraïne. Zijn vader werkte bij de spoorwegen en zelf ging Voroshilov op 7-jarige leeftijd werken in een steenkolenmijn. Toen hij 16 jaar oud was sloot hij zich aan bij een revolutionaire beweging, die zoals alle revolutionaire bewegingen in die tijd het doel had het regime van de tsaar in Rusland omver te werpen.
Drie jaar later richtte Voroshilov een eigen revolutionaire beweging op samen met arbeiders in de metaalverwerkingsfabriek waar hij werkte. In 1903 werd hij opgenomen in de Sociaal-Democratische Arbeiders Partij waarvan hij drie jaar later afgevaardigde was van de delegatie die deel uitmaakte van het congres in Estocolm. Daar leerde Voroshilov Lenin kennen, waarmee hij vanaf toen nauw ging samenwerken om de revolutie te kunnen bewerkstelligen. In 1907 werd Voroshilov opgepakt door ordetroepen van de tsaar en verbannen naar Siberië vanwege zijn opstandige activiteiten.
In 1914 werd Voroshilov vrijgelaten en keerde hij terug naar het westen van Rusland. Daar nam hij op bevel van Lenin na het uitbreken van de Eerste Wereldoorlog de leiding op zich van een partizaneneenheid die aanslagen pleegde en sabotageacties uitvoerde tegen de Duitse bezetter. Toen na de revolutie in Rusland de burgeroorlog uitbrak in 1917 was Voroshilov samen met Joseph V. Stalin betrokken bij de succesvolle verdediging van Tsaritsyn (het latere Stalingrad/Volgograd) van het Rode Leger tegen de Witten. Daarna werd Voroshilov opgenomen in de Oorlogsraad en het eerste Politburo van de Sovjet-Unie.
Voroshilov werd een van Stalins favorieten wat tot gevolg had dat hij gepromoveerd werd tot generaal en bovendien werd opgenomen in het Centraal Comité van de Communistische Partij. Daarnaast was hij bevelhebber van verscheidene Militaire Districten zoals Charkov, Noordelijke Kaukasus en Moskou. Na de dood van de beroemde bevelhebber Frunze werd Voroshilov zijn opvolger als voorzitter van de Defensieraad van de Sovjet-Unie.
Voroshilov kreeg steeds hogere functies en na de dood van Lenin werd Voroshilov in 1925 door Stalin benoemd tot Volkscommissaris (minister) van Militaire en Marinezaken. Deze post behield hij tot 1934 toen Stalin hem benoemde tot Volkscommissaris van Defensie. Voroshilov had de opdracht gekregen om de militaire top te zuiveren van Stalins (vermeende) politieke tegenstanders. Stalin wilde door deze zuiveringen de absolute macht verkrijgen over de Sovjetstrijdkrachten. Door deze zuiveringen werden 16.000 legerofficieren gedood of naar strafkampen in Siberië gestuurd. Voroshilov had wegens zijn verdiensten de bedenkelijke eer om door Stalin als eerste benoemd te worden tot Maarschalk van de Sovjet-Unie in 1935.
Na nog een tweede zuivering die georganiseerd werd door Voroshilov en Lavrenty P. Beria (NKVD) in 1938 was Voroshilov onderhandelaar met Groot-Brittannië en Frankrijk in de zomer van 1939. Daarbij ging het om hulp aan Polen in geval van een Duitse inval.
In december 1939 was Voroshilov opperbevelhebber van de Sovjetstrijdkrachten gedurende de Winteroorlog tegen Finland, waarbij het Sovjetleger nederlaag na nederlaag leed als gevolg van het gebrek aan deskundige officieren. Als gevolg van zijn falen verving Stalin hem door maarschalk Semyon K. Timoshenko. Voroshilov werd vervolgens benoemd tot plaatsvervangend eerste minister van de Sovjet-Unie.
Na de Duitse invasie richtte Stalin op 3 juli 1941 een Staatsverdedigingscomité (GKO) op waarin Voroshilov ook werd opgenomen en dat in feite een oorlogskabinet was. Voroshilov, Vyacheslav M. Molotov, Beria en Malenkov kregen de opdracht te zorgen voor de verdediging van Leningrad tegen de Duitse legergroep Noord. Stalin was gedwongen Voroshilov te vervangen door Georgy K. Zhukov en Voroshilov uit te schakelen als commandant te velde. Later in de oorlog trad Voroshilov met meer succes op als vertegenwoordiger van de Sovjet-Unie tegenover de vertegenwoordigers van de geallieerde strijdkrachten in Europa op de oorlogsconferenties van Teheran en Jalta. Zijn beste gaven lagen op het politieke en diplomatieke vlak. Daar was hij duidelijk beter in dan het geven van militaire leiding. Zo onderhandelde hij ook over een Finse wapenstilstand en was hij betrokken bij de 'sovjetisering' van Hongarije na de oorlog. Daarna keerde hij in 1947 terug naar Moskou en werd vice-minister achter Stalin.
Na de dood van Stalin werd Voroshilov in 1960 door de nieuwe leider van de Sovjet-Unie Nikita Chroestsjov ontheven van al zijn politieke functies als gevolg van de 'destalinisatie'.
Kliment Voroshilov stierf op 3 december 1969 in Moskou.