Carl Gustaf Emil Mannerheim werd geboren op 4 juni 1867 in Louhisaari. Hij was het derde kind van graaf Carl Robert Mannerheim en zijn vrouw Helena von Julin. Mannerheim ging op veertienjarige leeftijd een officierenopleiding volgen in Hamina. Daar werd hij echter van school gestuurd om disciplinaire redenen. Na het succesvol afleggen van een toelatingsexamen werd hij wel toegelaten op de militaire school van het Russische leger in Sint Petersburg, waar hij een opleiding volgde bij de cavalerie. Na de voltooiing van zijn studie diende Mannerheim bij de Alexandrijski-dragonders die gestationeerd waren in Polen. Na enkele jaren in Polen te hebben gediend keerde hij terug bij een garde-eenheid in Sint Petersburg. In 1892 trad Mannerheim in het huwelijk met Anastasia Arapova, de dochter van de Russische majoor-generaal Nicholas Arapov. Ze kregen twee dochters, Anastasia en Sophia. In 1903 werd het huwelijk echter ontbonden, maar de scheiding werd pas officieel bevestigd in 1917.
Mannerheim nam deel aan de Russisch-Japanse Oorlog in 1904 en 1905. Destijds had hij de functie van stafofficier in het Nezhinski Dragondersregiment en hij promoveerde spoedig tot de rang van kolonel. Na de oorlog bleef Mannerheim in dienst van het leger van de tsaar. In het Russische Rijk heersten er grote onrust onder de arbeiders en boeren die door marxistische groeperingen opgezet werden tegen het regime van de tsaar. Het Russische leger had de situatie echter onder controle en het zou nog meer dan tien jaar duren eer de tsaar de macht in Rusland verloor. In 1911 promoveerde Mannerheim tot de rang van generaal-majoor en hij kreeg het bevel over een garde-eenheid in Polen.
Tijdens de Eerste Wereldoorlog voerde Mannerheim het bevel over een brigade en later over de 12e Cavaleriedivisie in de strijd van het Russische leger tegen Oostenrijk. In 1914 werd Mannerheim onderscheiden met de Orde van Sint-Joris, de hoogste Russische militaire onderscheiding. Vanwege zijn uitstekende verdiensten klom Mannerheim op tot de rang van luitenant-generaal en kreeg hij het bevel over het 6e Cavaleriekorps.
De Russische Revolutie maakte een einde aan de carrière van Mannerheim in het Russische leger en in 1917 keerde hij terug naar zijn geboortegrond Finland. Finland had na het uiteenvallen van het Russische Rijk zijn onafhankelijkheid uitgeroepen, maar er heerste grote onrust in de nieuwe staat, want er waren communisten die Finland graag bij de Sovjet-Unie wilden voegen en bovendien waren er nog meer dan 40.000 Russische troepen gestationeerd in Finland. Mannerheim nam het bevel op zich van de nieuwe Finse strijdkrachten die meevochten aan de zijde van de Witten in een bloedige burgeroorlog tegen het communistische Rode Leger. De burgeroorlog in Finland duurde drie maanden en in mei 1918 wisten Mannerheims Witte strijdkrachten een beslissende overwinning te boeken.
Na de burgeroorlog ontstonden er spanningen tussen Mannerheim en de Finse regering, omdat hij het niet eens was met het pro-Duitse beleid van de Finse regering. Mannerheim voorzag de problemen voor Finland, waarvan de onafhankelijkheid nog altijd niet algemeen erkend was, als de Finse regering de Duitsers die de oorlog aan het verliezen waren bleven steunen. Mannerheim nam zijn ontslag en vertrok naar het buitenland, waar hij ondanks zijn onofficiële positie, de politiek van de winnaars van de oorlog (Frankrijk en Groot-Brittannië) wist te beïnvloeden in het voordeel van Finland. De situatie veranderde toen Duitsland uiteindelijk instortte. Mannerheim keerde terug naar Finland in december 1918 en werd tijdelijk staatshoofd. In de verkiezingen van 1919 verloor hij echter van zijn opponent Ståhlberg en Mannerheim was niet langer staatshoofd. Desalniettemin ondertekende Mannerheim de grondwet van de Finse Republiek in juli 1919 en keerde hij terug bij het Finse leger.
Mannerheim maakte zich begin jaren twintig sterk voor contra-revolutionaire activiteiten tegen de nieuwe Sovjetstaat, maar na het falen van de contrarevolutie nam hij opnieuw ontslag. De volgende jaren werkte Mannerheim voor het Finse Rode Kruis. In 1931 werd hij echter teruggeroepen door de Finse regering om zitting te nemen als voorzitter van de Verdedigingsraad. Mannerheim ontwikkelde een verdedigende strategie tegen eventuele aanvallen van de Sovjet-Unie. Maar Mannerheim kreeg weinig gehoor toen hij verzocht om extra financiële middelen. Desondanks werden er in Finland in de jaren dertig defensieve maatregelen genomen om weerstand te bieden tegen een eventuele invasie van het Rode Leger. In 1933 kreeg Mannerheim de eervolle titel van veldmaarschalk.
Op 30 november 1939 viel het Rode Leger Finland binnen en Mannerheim werd onmiddellijk aangesteld als opperbevelhebber van de Finse strijdkrachten. Tijdens de Winteroorlog wist Mannerheim opnieuw zijn kwaliteiten als militair strateeg te bewijzen en het Rode Leger door middel van briljant uitgevoerde improvisatie zware verliezen toe te brengen. Het was ook Mannerheim die aanstuurde op een wapenstilstand met de Sovjet-Unie omdat Finland deze oorlog onmogelijk kon winnen tegen de gigantische Sovjetovermacht. In maart 1940 werd dan ook een vredesverdrag met Moskou overeengekomen, waarbij Finland een aanzienlijk grondgebied af moest staan.
Finland bleef echter overtuigd dat de Sovjet-Unie in de toekomst opnieuw zou aanvallen. De Duitsers waren inmiddels begonnen met de voorbereidingen van Operatie Barbarossa en Finland werd benaderd als bondgenoot voor de strijd tegen de Sovjet-Unie. Dit bood de Finnen een unieke kans om het verloren gegane grondgebied te heroveren en er werd ingestemd met de stationering van Duitse troepen in Finland. Mannerheim maakte zich echter sterk voor een beperking van de overeenkomst met Duitsland, wat uiteindelijk resulteerde in de Waffenbruderschaft. Finland was in tegenstelling tot bijvoorbeeld Roemenië en Italië geen volledige bondgenoot van Duitsland en behield zich het recht voor om naar eigen inzicht te handelen.
Op 22 juni 1941 lanceerden de Duitsers Operatie Barbarossa en enkele dagen later vielen ook de Finnen het Rode Leger aan. De zogenoemde Vervolgoorlog was begonnen. Mannerheim wist met zijn troepen moeizaam de Karelische Landengte te heroveren en hij besloot in september 1941 om zijn troepen halt te laten houden. Tot groot ongenoegen van de Duitsers weigerde Mannerheim zijn troepen in te zetten voor de bestorming van Leningrad. Dit was een zeer slimme zet van Mannerheim omdat hij wellicht al in september inzag dat de Duitsers er nooit in zouden slagen om de Sovjet-Unie te verslaan. De Finnen groeven zich in langs de oude grens en het bleef langer dan twee jaar rustig aan het Finse front.
Mannerheim maakte zich sterk om niet te veel betrokken te raken bij de Duitse buitenlandse politiek. Hoewel de geallieerden Finland formeel de oorlog verklaarden bleven vijandelijkheden uit. Toen de Sovjets de Duitsers enkele gevoelige nederlagen toe hadden gebracht richtte Stalin zijn ogen opnieuw in de richting van Finland en in juli 1944 viel het Rode Leger aan op de Karelische Landengte. De Finnen hadden geen schijn van kans en leden nederlaag op nederlaag. In augustus 1944 werd de inmiddels tot maarschalk van Finland bevorderde Mannerheim gekozen tot president. Hij maakte na zware gevechten Finland los van Duitsland en sloot een wapenstilstand met de Sovjet-Unie op 19 september 1944. Vanaf 1944 voerde Finland een nieuwe politiek tegenover de Sovjet-Unie.
Finland was dus ontsnapt aan een bezetting van Sovjetsoldaten en het behield zijn soevereiniteit. Dit was voornamelijk te danken aan Mannerheims persoonlijke inmenging, zowel militair als politiek. In 1946 ging Mannerheim met pensioen.
Zijn laatste levensjaren bracht Mannerheim 's winters door in Zwitserland, waar hij een luxieus buitenverblijf had. In de zomer keerde hij altijd terug naar Finland. Mannerheim schreef zijn memoires en stierf op 28 januari 1951 in Lausanne in Zwitserland.