Konstantin Konstantinovitsj Rokossovsky werd op 21 december 1896 geboren in Velikiye Luki, een plaats in de buurt van Pskov in het noorden van Rusland. Zijn vader was een Pool en werkte als treinmachinist terwijl zijn moeder een lerares Russisch was. Kort nadat Konstantin werd geboren verhuisde het gezin naar Warschau, dat toen nog deel uitmaakte van het tsaristische Rusland. Konstantin ging daar naar school, maar moest daar vroegtijdig mee stoppen doordat in 1905 zijn vader en in 1911 zijn moeder overleed. Konstantin werkte als steenhouwer, metselaar en klusjesman om aan de kost te komen.
Toen in 1914 de Eerste Wereldoorlog uitbrak meldde Konstantin zich vrijwillig aan bij het leger. Het patroniem van Konstantin werd niet zoals gebruikelijk afgeleid van de Poolse naam van zijn vader, Wojciech, maar ‘Konstantinovitsj’, een bedenksel van Rokossovsky om een carrière in het Sovjetleger te vergemakkelijken. Hij werd als onderofficier ingedeeld in het 5e Kargopol-Regiment, een van Ruslands oudste cavalerieregimenten. Rokossovsky vocht dapper en werd gedurende de oorlog met het St. Joriskruis 4e, 3e en 2e Klasse onderscheiden. In 1917 brak de Russische Revolutie uit. Rokossovsky sloot zich aan bij het bolsjewistische Rode Leger, waar hij zijn succesvolle carrière vervolgde. Als jongeman had hij al het commando over een divisie en zijn promoties volgden elkaar snel op. Hij werd onderscheiden met twee Ordes van de Rode Banier voor zijn optreden aan het Transbaikalfront tegen het Witte Leger, in die tijd de hoogste militaire onderscheiding van de Sovjet-Unie. Na de Burgeroorlog studeerde Rokossovsky aan de befaamde Militaire Academie Frunze in Moskou. In 1929 verdedigde hij de aanleg van de Chinese spoorwegen tegen Japanse troepen, waarvoor hij ook werd onderscheiden. Hierna kreeg hij het commando over het 7e Samara-Cavalerieregiment in Minsk.
In 1937 kwam zijn carrière tot een abrupt einde. Tijdens Stalins zuiveringen werd kolonel Rokossovsky ervan beschuldigd de Sovjets namens Polen te hebben bespioneerd. De NKVD arresteerde Rokossovsky en hij werd tijdens een schijntribunaal veroordeeld. Hij werd naar een Goelagkamp gestuurd waar hij twee en een half jaar lang gevangen werd gehouden. In maart 1940 liet Stalin Rokossovsky plotseling vrij. Rokossovsky werd op 4 juni 1940 bevorderd tot generaal-majoor en kreeg het bevel over het 5e Cavaleriekorps bij Pskov. Hierna werd hij overgeplaatst naar het Speciale Militaire District Kiev, waarmee hij meevocht tijdens de inname van Bessarabië. Na deze operatie kreeg Rokossovsky het bevel over het 9e Gemechaniseerde Korps.
Nadat de Duitsers op 22 juni 1941 de Sovjet-Unie waren binnengevallen kreeg Rokossovsky het bevel over het 4e Leger en later het 16e Leger. Het 16e Leger was een onderdeel van het Westelijke Front. Met dit leger slaagde hij erin de frontlijn in de buurt van Moskou te behouden. Op 11 september 1941 werd hij bevorderd tot luitenant-generaal.
Op 30 september 1942 werd Rokossovsky benoemd tot opperbevelhebber van het Donfront, gelegerd ten noordwesten van Stalingrad. Hij hielp mee bij het ontwerpen van operatie Uranus, wat tot doel had de Astroepen bij Stalingrad te omsingelen. De eenheden van het Donfront vormden een deel van de noordelijke tang. Op 19 november begon de operatie en op 23 november was de val gesloten. De Duitse 6. Armee en de 4. Panzerarmee waren omsingeld. Op 10 januari opende het Donfront een slotoffensief, operatie Ring, om de hardnekkige Duitse weerstand te breken. Op 15 januari werd Rokossovsky bevorderd tot kolonel-generaal. Rokossovsky was aanwezig bij het verhoor van Generalfeldmarschall Friedrich Paulus, de voormalige opperbevelhebber van de 6. Armee.
In februari 1943 werd Rokossovsky’s Donfront omgedoopt in het Centrale Front. Op 28 april werd Rokossovsky bevorderd tot legergeneraal. Met het Centrale Front vocht hij mee tijdens de slag bij Koersk. Rokossovsky leidde de tegenaanval ten westen van Koersk. In oktober 1943 werd Rokossovsky de opperbevelhebber van het nieuwgevormde Wit-Russische Front, later het 1e Wit-Russische Front, waarmee hij meevocht gedurende operatie Bagration. Hij leidde zijn legers naar de Weichsel bij Warschau. Hiervoor werd Rokossovsky op 29 juni bevorderd tot de hoogste rang van maarschalk van de Sovjet-Unie en op 29 juli kreeg hij de eretitel Held van de Sovjet-Unie, de allerhoogste Sovjetonderscheiding. Terwijl Rokossovsky voor Warschau stond, brak daar de Opstand van Warschau uit. Stalin gaf orders niet in te grijpen, maar met zijn Poolse bloed keek Rokossovsky met gemengde gevoelens toe, zeker omdat nog een aantal van zijn familieleden in Warschau woonde. Met het 1e Wit-Russische Front veroverde hij Minsk en Warschau. Na de val van Warschau kreeg Rokossovsky in november 1944 het bevel over het 2e Wit-Russische Front. Hiermee rukte hij op door Oost-Pruisen en het noorden van Polen. Hij veroverde Danzig en ondersteunde de aanval op Berlijn. Eind april maakten Rokossovsky's troepen in Noord-Duitsland contact met troepen van de Britse Field Marshal Bernard Montgomery.
Op 30 maart 1945 werd Rokossovsky onderscheiden met de Orde van de Overwinning en op 1 juni 1945 werd hij voor de tweede keer benoemd tot Held van de Sovjet-Unie. Op 24 juni werd in Moskou de grote overwinningsparade gehouden. Deze werd afgenomen door maarschalk van de Sovjet-Unie Georgy K. Zhukov onder toeziend oog van Joseph V. Stalin, terwijl Rokossovsky het commando over de troepen had.
Na de oorlog werd Rokossovsky benoemd tot commandant van de Sovjetstrijdkrachten in het noorden van Polen en Duitsland. In 1949 werd hij door de Poolse president gevraagd de Poolse minister van Defensie te worden. Met toestemming van Stalin vertrok Rokossovsky naar Polen. Ook werd Rokossovsky, in het Pools Konstanty Rokossowski, bevorderd tot maarschalk van Polen. Toen in de jaren 50 de gevoelens jegens de Sovjets steeds negatiever werden keerde Rokossovsky in 1956 terug naar de Sovjet-Unie. In juli 1957 werd hij door Nikita S. Chroesjtsjov benoemd tot plaatsvervangend minister van Defensie en commandant van het Militaire District Transkaukasus. In 1958 werd Rokossovsky de hoogste inspecteur van het Ministerie van Defensie, tot hij met pensioen ging in april 1962. Maarschalk van de Sovjet-Unie en maarschalk van Polen Konstantin Konstantinovitsj Rokossovsky overleed aan kanker op 3 augustus 1968, op 74-jarige leeftijd. Hij werd bijgezet in de Kremlinmuur op het Rode Plein in Moskou.