Job Wilhelm Georg Erwin Erdmann von Witzleben werd op 4 december 1881 in Breslau (toen de hoofdstad van de Pruisische provincie Schlesien, heden Wroclaw in zuidwestelijk Polen) geboren als telg van een oude adellijke Pruisische familie. Zijn vader maakte de Frans-Duitse oorlog mee als Hauptmann in het keizerlijke leger en kocht, nadat hij in 1876 ontslag had genomen uit het leger, Ober-Poppschütz, een klein landgoed in Oberschlesien. Erwin von Witzleben bracht zijn kinderjaren door in Breslau en daarna op Ober-Poppschütz. Daar werd hij door zijn vader Georg en zijn moeder Therese streng religieus opgevoed. Het was naar Pruisische traditie gewoon om de vader in zijn beroep te volgen, waardoor Erwin voorbestemd was om het leger in te gaan. Op 22 maart 1901 werd hij beëdigd als officier met gemiddelde resultaten. Von Witzleben startte zijn carrière vervolgens bij het Grenadierregiment König Wilhelm I. (2. Westpreussisches) nr. 7 in Liegnitz. Dat was een regiment met een belangrijke traditie in relatie tot de koning van Pruisen, waardoor Erwin von Witzleben een voorname plaats in het leger toebedeeld kreeg. Hij startte als chauffeur van de 12. Kompanie en ging in de jaren daarna ook bij andere Kompanien van het Regiment aan de slag. Op 26 juni 1910 werd Von Witzleben tot Oberleutnant bevorderd.
Op 21 mei 1907 trouwde Witzleben met Else Kleeberg en kreeg met haar een dochter op 8 maart 1908 genaamd Eva Maria Edelgarde Charlotte Amalie. Enige tijd later, op 3 juli 1909 kwam het tweede kind van het echtpaar Witzleben ter wereld, een zoon genaamd Job Wilhelm Georg Richard Erwin.
Vanwege het uitbreken van de Eerste Wereldoorlog werd Erwin von Witzleben op 11 augustus 1914 naar het westelijk front gestuurd. Daar besloot hij een dagboek voor zijn kinderen bij te houden, omdat hij reeds vermoedde dat het een bijzondere belevenis zou worden. Witzleben ging op 20 augustus 1914 de grens over bij Luxemburg als Adjudant van de 19. Reserve-Infanterie-Brigade. Nadat zijn Brigade in de eerste weken gevochten had, kreeg Witzleben op 14 september 1914 het Eiserne Kreuz 2. Klasse opgespeld. Een maand later, 13 oktober 1914, werd hij tot Hauptmann bevorderd. Begin november 1914 werd de 19. Reserve-Infanterie-Brigade verplaatst naar het Belgische deel van het front. Daar nam het deel aan één van de vele grote offensieven, die elk aan vele mannen het leven kostte. Witzleben constateerde in zijn dagboek dat er veel schortte aan de medische verzorging en het stelde hem bedroefd dat er zoveel slachtoffers vielen. De oorlog raasde door en de brigade van Witzleben werd opnieuw overgeplaatst, nu naar de omgeving van Verdun.
Begin februari 1915 werd Witzleben commandant van de 2. Kompanie des Reserve-Infanterie-Regimentes (IR) Nr. 6. Zijn compagnie lag in de buurt van Verdun, op een locatie waar hij de vijandelijke stellingen heel goed kon zien. Daar volgde hij voor het eerst een bevel niet op. . Hij had namelijk de opdracht gekregen om twee vooruitgeschoven posten te creëren onder het zicht van de vijandelijke stellingen, maar hij voorzag dat daarbij veel slachtoffers zouden vallen en weigerde het bevel uit te voeren. Helaas werd hij enkele dagen later alsnog gedwongen om het bevel uit te voeren en tot Witzlebens opluchting gebeurde dat zonder slachtoffers. Op 22 maart 1915 kreeg Witzleben een andere compagnie onder zijn hoede in hetzelfde regiment: de 14. Kompanie.
Een jaar later, op 8 maart 1916, nam Witzleben met zijn compagnie deel aan de slag bij Verdun, waarbij ze een fort moesten veroveren. Dat mislukte, dankzij een volle maan, die in combinatie met de sneeuw de posities van de compagnie verraadde. Desondanks kreeg Witzleben voor deze aanval op 11 maart 1916 het Eiserne Kreuz 1. Klasse. Vlak daarna, op 25 maart 1916, kreeg Witzleben het commando over de 6. Kompanie van hetzelfde regiment. Hij was nog geen twee weken in functie toen hij bij een artilleriebombardement gewond raakte. Hij moest herstellen en kreeg daarvoor verlof, waarna hij vanaf midden augustus 1916 verschillende commando’s bekleedde binnen de 9. Reserve-Infanterie-Division. Op 2 mei 1917 kreeg hij weer een functie aan het front, als commandant van het II. Batallion des Reserve-Infanterie-Regiment Nr. 6. In die functie nam hij deel aan de Slag bij Arras. Voor zijn verdiensten werd hij op 12 mei 1917 Ritter des Hamburgischen Hanseatenkreuzes.
Op 20 juli 1917 kreeg Witzleben een nieuwe post in de Generalstab van de 4. Bayerische Infanterie-Division. Hij werd daar onderscheiden met de Königliche Preussische Hausorden von Hohenzollern. Eind 1917 volgde Witzleben de Generalstabskurs in Sedan, omdat hij Generalstabsoffizier wilde worden. Eind december van dat jaar had hij zijn kwalificatie voor de Generalstabsdienst binnen en wachtte hij op zijn eerste functie als Generalstabsoffizier. Op 13 januari 1918 was het zover en kon Witzleben als 4. Generalstabsoffizier des XI. Armeekorps aan de slag. Daar werd hij onderscheiden met de Königlich Bayerische Militär-Verdienstorden 4. Klasse mit Schwertern. In deze functie beleefde hij de laatste grote slag die de Duitse legerleiding (bestaande uit Generalfeldmarschall Paul von Hindenburg en General der Infanterie Erich von Ludendorff) inzette in de hoop de westelijke tegenstanders te verslaan. Op 21 april 1918 kreeg Witzleben toestemming om het uniform van de Generalstab der Armee te dragen, waarmee hij onderdeel was geworden van de Preussische Generalstab.
Op 2 augustus 1918 werd Witzleben Erster Generalstabsoffizier (Ia) van de 108. Jäger-Division. Hij vocht mee in de Slag aan de Somme. Tegen het einde van de oorlog (9 november 1918) werd hij onder de 9. Infanterie-Division zur besonderen Verwendung geplaatst. Na de wapenstilstand kreeg hij de opdracht om als Erster Generalstabsoffizier het terugtrekken van de 121. Infanterie-Division te organiseren.
Na de oorlog heeft Witzleben enige tijd getwijfeld of hij zijn carrière binnen het leger nog moest voortzetten. Uiteindelijk besloot hij om door te gaan, omdat hij velen zag vertrekken en hij vond dat "niet iedereen weg kan gaan." Hieruit blijkt zijn plichtsbewustzijn. Hij kreeg na de oorlog de functie van commandant van de Maschinengewehrkompanie in het 8. Preussische Infanterie-Regiment. In december 1922 werd Witzleben overgeplaatst als compagniecommandant naar de staf van de 4. Division (Wehrkreiskommando IV). Dit was alleen formeel zijn functie, want in de praktijk was hij docent op de Führergehilfenausbildung, de dekmantel voor de opleiding voor officieren om in de Generalstab terecht te komen (de Generalstab, en de bijbehorende opleiding waren door het verdrag van Versailles namelijk verboden). Op 1 april 1923 werd Witzleben tot Major bevorderd.
Op 1 februari 1926 werd Witzleben overgeplaatst naar Potsdam om daar de functie van Erster Generalstabsoffizier im Stab des Infanterieführers III op zich te nemen. Op 1 februari 1928 volgde een functie als commandant van het II. Hanseatische Bataillon des 6. Infanterie-Regiments. Tijdens deze periode werd de Major op 1 januari 1929 tot Oberstleutnant bevorderd. Slechts korte tijd later kreeg hij wederom een nieuwe functie als Chef des Stabes der 6. Division und des Wehrkreises VI. Daar werd hij op 1 april 1930 tot Oberst bevorderd en zijn carrière ging nu heel snel. Op 1 oktober 1931 werd hij benoemd tot commandant van het 8. Preussische Infanterie-Regiment en twee jaar later, vlak na de machtovername van Adolf Hitler, werd hij op 1 oktober 1933 benoemd tot Infanterieführer VI die onder de 6. Division viel. In die functie werd Witzleben verantwoordelijk voor de opleiding van drie regimenten en een bataljon.
Op 1 februari 1934 werd Witzleben benoemd tot Generalmajor en werd hij commandant van de 3. Division en bevelhebber van Wehrkreis III. Datzelfde jaar nog werd hij ook tot Generalleutnant bevorderd. Hij kreeg Erich von Manstein als Stabschef en toen op 28 februari de zogenoemde Arierparagraph afgekondigd werd, tekenden Manstein en Witzleben gezamenlijk protest aan. De Arierparagraph hield in dat alle militairen van Joodse afkomst ontslagen zouden worden en in hun gezamenlijk protest namen Manstein en Witzleben het op voor de Joodse militairen. Joden die voor het Duitse rijk gevochten hadden in de Eerste Wereldoorlog hadden, in de ogen van Manstein en Witzleben, net zo goed hun leven in de waagschaal gelegd voor Duitsland. In hun ogen dienden zij daarom ook met respect te worden behandeld. Reichswehrminister Blomberg, die voor de afkondiging van de Arierparagraph verantwoordelijk was, trok zich weinig aan van het protest, waardoor het alsnog werd uitgevoerd. Op 1 juli werd de functie van Witzleben hernoemd, in verband met de uitbreiding van de Wehrmacht. Hij was nu commandant van het III. Armeekorps und Befehlshaber im Wehrkreis III. Doordat hij nu corpscommandant was geworden, werd Witzleben op 1 oktober 1936 benoemd tot General der Infanterie.
Witzleben vond in deze jaren steeds meer bevestiging van zijn opvatting dat Hitlers politiek op iets misdadigs zou uitdraaien, namelijk een oorlog. Hij had Mein Kampf gelezen en daardoor wist hij dat Hitler meer wilde dan het Verdrag van Versailles ongedaan maken. Dat was in de dertiger jaren zijn belangrijkste argument om zich steeds meer uit te spreken tegen Hitler. De rassenpolitiek speelde wel mee in zijn overwegingen, maar was niet de voornaamste beweegreden voor Witzleben. In juli 1938 werd Witzleben door inlichtingenofficier Hans Oster (die werkzaam was bij de Abwehr, welke onder leiding stond van Wilhelm Canaris) op de hoogte gebracht van de plannen van Hitler om Tsjecho-Slowakije aan te vallen: Fall Grün. Na dat gesprek informeerde Witzleben bij Hjalmar Schacht, president van de Reichsbank, wat de westelijke machten zouden doen in het geval het daadwerkelijk oorlog zou worden. Schacht bevestigde wat Witzleben vreesde: er bestond een zeer groot gevaar voor een oorlog als dit plan van Hitler doorgezet zou worden. Dit was het moment dat Witzleben actief in het verzet ging. In de voorgaande jaren had hij veel personen leren kennen die, net als hijzelf, kritisch waren ten opzichte van het nationaalsocialistische regime. Er werden gedetailleerde plannen beraamd om Hitler te stoppen, voordat hij overging tot het innemen van Tsjecho-Slowakije. Het doel van die plannen was om het leger alle staatsapparaten van de nationaalsocialisten te laten bezetten, een militaire regering te vormen en ten slotte zo snel mogelijk, met bescherming van het leger, nieuwe verkiezingen uit te schrijven. Nadat Hitler door de verzetsmensen gevangen genomen zou zijn, moest hij berecht worden voor zijn tot dan toe begane misdaden.
In de zomer van 1938 vond er een vreemd incident plaats. Naast het diensthuis van Witzleben in Berlijn, was een SS-casino ingericht. Op een middag zaten Witzleben en zijn vrouw op het terras, toen er een kogel rakelings langs hem heen ging en eindigde in de muur van zijn woning. De kogel ging dwars door de stoel waar Witzleben net op gezeten had. Hoewel de SS dit afdeed als een incident en daarvoor excuses aanbood, noopte het Witzleben wel tot voorzichtigheid in het voeren van gesprekken over verzet tegen Hitler.
De verzetsgroep die zich inmiddels om Witzleben, de hoge ambtenaar Hans-Bernd Gisevius en de inlichtingenofficieren Friedrich-Wilhelm Heinz en Hans Oster verzameld had, legde ook buitenlandse contacten om zich te vergewissen van de reactie van andere landen in geval van een aanval op Tsjecho-Slowakije. De Britse Minister van Buitenlandse Zaken deelde mee dat zij beslist zouden ingrijpen, maar verzweeg dat er op dat moment (begin september 1938) al gesprekken met de Duitse regering werden gevoerd om een oorlog te voorkomen. Toen op 30 september 1938 bekend werd dat er een verdrag werd gesloten tussen Frankrijk, Groot-Brittannië en Duitsland (het Akkoord van München), waarbij het het tot Tsjecho-Slowakije behorende Sudetenland feitelijk bij Duitsland werd gevoegd, besloot de verzetsgroep de plannen op te geven. Er was geen steun uit het buitenland en bovendien was Hitler in het binnenland nu ongekend populair.
Op 10 november 1938 werd Witzleben benoemd tot Oberbefehlshaber der Heeresgruppe 2, nadat generaal Wilhelm Adam in ongenade was gevallen. Met deze functie verloor de verzetsgroep een sterke militaire commandant in Berlijn. Hoewel deze benoeming een stap omhoog was in Witzlebens carrière, werd het door de verzetsgroep als een enorme tegenslag geïnterpreteerd. Desondanks zagen Schacht en Gisevius Witzleben als de meest kritische van alle generaals ten opzichte van de nationaalsocialistische regering. Witzleben zag als Oberbefehlshaber der Heeresgruppe 2 snel dat Hitler van plan was om een oorlog te ontketenen, omdat hij ten overstaan van zijn generaals meermaals de superioriteit van het Germaanse ras en de behoefte aan Lebensraum had beschreven. Daarnaast was de mobilisatie volop in gang gezet.
De Duitse troepen marcheerden op 15 maart 1939 het Tsjechische deel van Tsjecho-Slowakije in, nadat de Slowaken hun onafhankelijkheid hadden afgekondigd en trouw aan Hitler zwoeren. Een week later, op 22 maart 1939, gaf Litouwen het Memelland terug aan Duitsland (was door het Verdrag van Versailles één van de herverdeelde gebieden die Duitsland had verloren). Dit alles leidde ertoe dat Groot-Brittannië en Frankrijk een garantieverklaring aan Polen afgaven: als Duitsland Polen zou aanvallen, dan zouden de twee westelijke machten ingrijpen. Dit alles baarde Witzleben zorgen, omdat hij met zijn Heeresgruppe verantwoordelijk was voor de verdediging van de westgrenzen van Duitsland. Hij wist zeker dat hij kansloos zou zijn tegen een mogelijke Franse inval. Hij beraadde zich in de periode weer op een volgende mogelijkheid om in opstand te komen tegen Hitler en daartoe zocht hij contact met Carl Goerdeler, de voormalige burgemeester van Leipzig en actieve nazi-tegenstander. Ze kwamen overeen dat Witzleben enkele betrouwbare divisiecommandanten zou gebruiken om naar Berlijn op te rukken en dat de arbeidersbewegingen moesten voorkomen dat er een volksopstand zou ontstaan. De arbeidersbewegingen hadden heel veel mensen in de gelederen die buiten het leger werkten, waardoor ze veel bereik hadden in de maatschappij. Dat gaf hen invloed die ze konden aanwenden om een opstand te voorkomen. Ten slotte moest in elke Wehrkreis (defensieregio) een verzetsgroep worden ingericht. Witzleben en Goerdeler kwamen overeen dat dit alles het volgende jaar, 1940, gereed moest zijn. Ze zouden in de tussentijd contact houden via Hans Oster.
In augustus 1939 zocht Witzleben contact met Hans-Bernd Gisevius, omdat hij door de legerleiding niet geïnformeerd werd over de actuele politieke situatie. Via de radio van de BBC en Gisevius vernam Witzleben van de oorlogsplannen van Hitler en hij sprak met Gisevius af om in Berlijn bij de Stabschef des Oberkommando des Heeres Franz Halder en de Oberbefehlshaber des Heeres Walther von Brauchitsch met behulp van enkele andere generaals desnoods met geweld een andere koers af te dwingen. Hitler was de mannen echter voor en lichtte de generaliteit in over het inmiddels gesloten niet-aanvalsverdrag met de Sovjet-Unie, alsmede het plan om Polen te veroveren. Dat was het moment dat de Wehrmacht in een staat van oorlog werd gebracht. Witzleben werd nu commandant van de 1. Armee die in het westen was gestationeerd, terwijl Heeresgruppe 2 werd hernoemd tot Heeresgruppe C onder het commando van Generaloberst Wilhelm Ritter von Leeb.
Op 1 september 1939 viel de Wehrmacht Polen binnen, maar hierover waren uitsluitend de aan de inval deelnemende troepen op de hoogte gebracht. Witzleben hoorde pas van de inval nadat die had plaatsgevonden. Vervolgens verklaarden Groot-Brittannië en Frankrijk, Duitsland op 3 september 1939 de oorlog. De commandant van de 1. Armee had vanaf dat moment te maken met kleine schermutselingen in het westen. Op 1 november 1939 werd Witzleben bevorderd tot Generaloberst en probeerde hij via gesprekken en met behulp van zijn netwerk generaals te overtuigen om in opstand te komen. Hitler wilde West-Europa zo snel mogelijk aanvallen en maakte haast met het maken van plannen daartoe. Er bleken echter weinig generaals bereid om daadwerkelijk in opstand te komen, de meesten hielden het bij het schrijven van memoranda waarin ze zich uitspraken tegen een offensief.
Hitler hield op 23 november 1939 een toespraak voor zijn generaals waarin hij duidelijk zijn oorlogsplannen ontvouwde. Witzleben was één van de aanwezigen en constateerde dat de generaals erg onder de indruk waren van Hitlers woorden. Alle generaals hadden een eed moeten afleggen, waarin ze trouw zwoeren aan Hitler. Ook Witzleben had die eed afgelegd in 1935, maar hij zag de eed als een belofte van twee kanten. Daarnaast was het voor de Befehlshaber der 1. Armee een belofte aan een functie, niet aan een persoon en hij vond dat het welzijn van volk en vaderland daarin voorop stond. Hitler, zo zag Witzleben in, zou Duitsland naar de afgrond voeren met zijn oorlogsplannen en daarom was hij vastbesloten om zich te verzetten tegen de man die de eed en daarmee Duitsland bezoedelde.
Aan het einde van het jaar 1939 en het begin van 1940 werd er door de verzetsgroep rond Witzleben aangezet tot actie. De groep wilde troepen in de omgeving van Berlijn beschikbaar stellen, zodat die in de Reichshauptstadt Hitlers veiligheidstroepen zouden kunnen bedwingen. Vervolgens was er met medewerking van onder andere Johannes Popitz (voormalig Pruisische Minister van Financiën), Carl Goerdeler, Hans Oster en Ulrich von Hassell (tot 1938 ambassadeur in Italië) een plan uitgewerkt om, nadat Hitler was gedood, een nieuwe start te maken met Duitsland. Witzlebens taak was om Ludwig Beck in te wijden in zijn voorziene rol als Oberbefehlshaber des Heeres en Franz Halder, de opvolger van Beck als Chef des Generalstabes des Heeres, ervan te overtuigen aan het plan mee te werken, maar Halder bleek huiverig om de benodigde troepen beschikbaar te stellen. Hierdoor viel ook dit plan in duigen.
Op 10 mei 1940 kwam het bevel om Nederland, België, Luxemburg en Frankrijk aan te vallen, nadat deze aanval (Fall Gelb) maar liefst 28 maal was uitgesteld. De taak van het leger van Witzleben was om gedurende deze eerste fase schijnaanvallen op beperkte doelen uit te voeren op de Maginotlinie, zodat er troepen aan de verdedigingswerken gebonden bleven. Witzleben ging met zijn 1. Armee op 14 juni in de aanval en zijn opdracht was om een doorbraak te forceren in de Maginotlinie, in samenwerking met de 7. Armee. Slechts één dag later wist Witzleben de Maginotlinie met zijn leger te doorbreken, om in de dagen erna de linie volledig te omsingelen. Op 22 juni was de Maginotlinie volledig omsingeld en had Witzlebens 1. Armee het gebied onder controle. Nadat de overgave van Frankrijk op 22 juni 1940 een feit was, kreeg Witzleben uit handen van Wilhelm von Leeb voor zijn verdiensten het Ritterkreuz des Eisernes Kreuzes.
Het hoofdkwartier van de 1. Armee werd naar Nancy in Frankrijk verplaatst en op 19 juli 1940 werd Witzleben door Hitler tot Generalfeldmarschall bevorderd. Hitler gebruikte bevorderingen als een manier om loyaliteit van zijn generaals terug te krijgen. Zo kreeg een Generalfeldmarschall een toelage die in tot wel 2 keer het jaarsalaris kon bevatten. Daarnaast gaf Hitler vaak financiële giften, maar daarvan is bekend dat Witzleben die geweigerd heeft. Het is niet bekend of de toelage die de Generalfeldmarschall kreeg, zijn mening over Hitler beïnvloedde.
In Frankrijk werd Witzleben voortdurend op de hoogte gehouden van de voorbereidingen van een aanval op Engeland, door middel van een amfibische operatie. Hij vond dit voornemen uitzichtloos en zag het als bluf van Hitler. Daarnaast kreeg de staf van Witzleben de opdracht om te onderzoeken of een aanval op Zwitserland een slimme zet was. De uitkomsten van dat onderzoek werden aan Witzleben medegedeeld, maar de Generalfeldmarschall besloot de resultaten niet naar het Oberkommando des Heeres door te sturen. Dat hij daarmee een aanval op Zwitserland voorkwam, zoals sommigen beweren, blijft voer voor speculatie.
Na de overwinning op Frankrijk werd de Wehrmacht opnieuw gestructureerd, wat voor Witzleben concreet betekende dat hij Oberbefehlshaber der Heeresgruppe D werd per 26 oktober 1940. Met deze nieuwe strijdkrachten had Witzleben de taak om de rust in Frankrijk te bewaren. De rust van de vrede gaf Witzleben meer tijd voor familie en voor jagen, iets wat hij in deze tijd ook als dekmantel gebruikte om gesprekken te voeren over verzet tegen Hitler. Op 31 januari 1941 ervoer Witzleben voor het eerst van de concrete plannen om de Sovjet-Unie aan te vallen in het voorjaar. De Generalfeldmarschall was bedroefd over die plannen en realiseerde zich dat vele eenheden naar het oosten verplaatst zouden worden. Bij de herstructurering van het leger werd duidelijk dat Witzleben, als opvolger van de naar het oosten verplaatste Gerd von Rundstedt, de nieuwe Oberbefehlshaber West zou worden, waarbij hij tegelijk zijn functie als Oberbefehlshaber der Heeresgruppe D aanhield. In West-Europa bevonden zich verschillende Oberbefehlshaber, met overlappende bevoegdheden, omdat Hitler de militaire macht niet teveel wilde concentreren. Eén van de belangrijkste verantwoordelijkheden van Witzleben bestonden uit het nemen van defensieve maatregelen aan de kust van Frankrijk, België en Nederland.
Op 22 juni 1941 begon Unternehmen Barbarossa, de aanval op de Sovjet-Unie. Witzleben hield zich, los van het bewaken van veroverd West-Europa, bezig met het om zich heen verzamelen van betrouwbare officieren om de verzetsplannen nieuw leven in te blazen. Samen met General der Infanterie Alexander von Falkenhausen was Witzleben één van de weinige generaals die bereid was om samen te werken met het civiel verzet. Witzleben ging zeer voorzichtig te werk en sprak alleen openlijk over zijn kritische houding in het gezelschap van mensen die hij vertrouwde. Later dat jaar was het plan om Hitler in Parijs uit te nodigen en hem dan bij het afnemen van een parade neer te schieten. Vervolgens zouden betrouwbare troepen de macht overnemen in het westen, het machtscentrum in Berlijn en het oosten.
Hans-Alexander von Voss, een officier in de staf van Witzleben, werd door hem in januari 1942 naar het Oostfront gestuurd om steun te verwerven voor het verzet onder de generaals. Die steun was essentieel om het plan te laten slagen om Hitler in Parijs om te brengen. Daarnaast moest Voss bij Halder langs om de steun van het Oberkommando des Heeres zeker te stellen, maar Halder wees elke vorm van steun voor de oppositie tegen Hitler af, omdat hij van mening was dat Hitler de enige was die Duitsland nog kon redden. Witzleben en Voss kregen geen tijd om hun plan verder uit te werken, want Witzleben werd op 30 maart 1942 door Hitler, in aanwezigheid van Halder, uit zijn functie ontheven en in de zogenaamde Führerreserve geplaatst, een groep hoge officieren waarvoor voorlopig geen functie beschikbaar was. Gezondheidsredenen werden gebruikt als officieel argument voor deze beslissing, maar het is veel waarschijnlijker dat Witzleben te gevaarlijk werd in zijn functie, omdat hij, ondanks dat hij zich weer gezond meldde, niet meer ingezet werd.
Tijdens zijn hele loopbaan had Witzleben al last gehad van maagzweren en verschillende gezondheidsproblemen. Tijdens de Tweede Wereldoorlog werd hij aan zijn maag geopereerd en was hij verscheidene malen ernstig ziek toen hij zich bezighield met de plannen om Hitler te stoppen. Begin 1942 was de Generalfeldmarschall een tijd in behandeling, omdat hij aan zijn maag geopereerd werd. Tegelijkertijd was zijn vrouw doodziek en zij stierf op 15 maart 1942 aan kanker. Witzleben verbleef de laatste weken bij zijn vrouw en na haar dood verloor hij een belangrijke vertrouwenspersoon met betrekking tot zijn kritische houding ten opzichte van het regime.
Witzleben was zijn commando kwijt en kon hij zich alleen nog in persoon tegen Hitler verzetten en gebruik maken van zijn connecties. Ernstiger voor de verzetsgroep (met onder andere Goerdeler, Generalmajor Henning von Tresckow en Oster) was dat ze nu de connectie hadden verloren die potentieel troepen kon leveren die bij een verzetsdaad gebruikt konden worden. Witzleben besloot naar Berlijn te verhuizen om zo dicht mogelijk bij het machtscentrum verder te werken aan de plannen van de verzetsgroep. Hij sloeg in juli 1942 zelfs een aanbod af om Oberbefehlshaber der 12. Armee und Südost te worden, omdat hij zich nu op de activiteiten voor de oppositie wilde concentreren.
In 1943 werd buiten Witzleben om een aantal aanslagen aan het Oostfront voorbereid, door een verzetsgroep rond de eerder genoemde Henning von Tresckow. Generaloberst Ludwig Beck ontpopte zich als leider in die groep en zou, na het slagen van een aanslag, de nieuwe (tijdelijke) leider van Duitsland worden. Erwin von Witzleben zou onder Beck het commando over de gehele Wehrmacht op zich nemen. Die rol kreeg hij toebedeeld vanwege zijn aanzien onder de troepen, maar verder dan dit was Witzleben niet zeer nauw betrokken bij de voorbereiding van deze aanslagen. Wel werd hij voortdurend op de hoogte gehouden door Hans Oster. De taken waar Witzleben zich mee bezig hield waren voornamelijk gericht op het ompraten van generaals om zich bij de verzetsgroep aan te sluiten, zoals bijvoorbeeld Generaloberst Friedrich Fromm, commandant van het reserveleger.
Midden 1943 werd Witzleben in het ziekenhuis opgenomen, hij had een inwendige bloeding en moest de tijd nemen om te herstellen. Toen hij in september van datzelfde jaar hersteld was, begon hij de bevelen te schrijven die hij als commandant van de Wehrmacht zou uitgeven na het slagen van een aanslag op Hitler. Eén daarvan was het aangaan van onderhandelingen met generaal Dwight Eisenhower met betrekking tot een wapenstilstand. Een andere was dat alle militaire commandanten zijn bevelen moesten gehoorzamen en een derde was dat de concentratiekampen bevrijd moesten worden. De aanslag op Hitler moest nu plaatsvinden met een bom en werd door Oberst Claus Schenk Graf von Stauffenberg voorbereid, in samenwerking met Henning von Tresckow en enkele anderen. Intussen verslechterden de omstandigheden om de aanslag uit te voeren zeer, want Hitler liet steeds minder mensen in zijn buurt komen en daarnaast waren geallieerde troepen op 6 juni 1944 in Normandië geland. Dat hield in dat er ook militaire eenheden aan het westfront gebonden werden, die niet inzetbaar konden zijn voor een mogelijke aanslag. Daarnaast verzwakte het doel van de aanslag, namelijk het stoppen van de regering Hitler en het installeren van een overgangsregering. De invasie was het derde front voor Duitsland en het was de verzetsgroep duidelijk dat het een kwestie van tijd was voordat Duitsland verslagen zou zijn. De verzetsgroep ging echter door, omdat ze het signaal belangrijker vonden dan het bereiken van de doelen van de aanslag.
Witzleben bracht zijn familie op 13 juli 1944 in veiligheid door ze naar midden-Duitsland te brengen, omdat de aanslag elk moment gepleegd kon worden. Stauffenberg had als Stabschef van de bevelhebber van het reserveleger toegang tot Hitler en had zo de beste kansen om Hitler om te brengen. Op de dag van de aanslag was Witzleben in Berlijn, en toen het codewoord "Walküre" viel wist Witzleben dat het tijd was om zijn bevelen te versturen aan alle bevelhebbers in de Wehrmacht. De chef van het Oberkommando der Wehrmacht, Generalfeldmarschall Wilhelm Keitel, gaf echter tegenbevelen uit, die de bevelen van Witzleben ongeldig verklaarden. Steeds meer troepen namen de militairen van het verzet door Keitels handelen niet meer serieus. De aanslag en staatsgreep van 20 juli 1944 bleken mislukt, Hitler overleefde en de plannen van de verzetsgroep tot machtsovername werden in de kiem gesmoord.
Witzleben was er snel van overtuigd dat de situatie voor de verzetsgroep hopeloos was geworden. Verschillende randvoorwaarden waren niet aanwezig, zoals het bezetten van het machtscentrum, het ombrengen van Hitler en het overnemen van het radioverkeer. Witzleben keerde 20 juli, nadat hij een bliksembezoek aan het verzetscentrum had gebracht, naar zijn familie terug, waar hij een terneergeslagen indruk maakte.
Er waren verschillende redenen voor de weerstand van Witzleben tegen Hitler. Eén van de voornaamste was zijn diepe geloof, wat haaks stond tegenover de opvattingen van Hitler met betrekking tot het christendom. Daarnaast wist Witzleben al in 1939 van misdaden tegen de menselijkheid in Polen, welke hij verafschuwde. Waarschijnlijk was zijn belangrijkste beweegreden dat hij de vrede wilde bewaren op basis van zijn ervaringen in de Eerste Wereldoorlog. Deze redenen dreven hem ertoe om al in 1938 weerstand te bieden tegen het regime, tot aan het allerlaatste moment toen de aanslag van Stauffenberg mislukte.
Op 21 juli 1944 werd Witzleben gevangen genomen en naar de beruchte Gestapo-gevangenis in Berlijn aan de Prinz-Albrecht-Strasse overgebracht. Na enkele verhoren besloot de Generalfeldmarschall zijn aandeel in de verzetsgroep te bekennen, maar dan zonder verdere namen prijs te geven. Witzleben werd gemarteld en uit de rangen van de Wehrmacht uitgestoten. Dat was een zet van Hitler om Witzleben voor het Volksgerichtshof te laten berechten, in plaats van voor het Reichskriegsgericht, zoals voor militairen gebruikelijk was. Hitler was bang dat Witzleben voor het laatstgenoemde gerechtshof een te lage straf zou krijgen en wilde zich vergewissen van een doodvonnis.
Het proces voor het Volksgerichtshof was een schijnvertoning, waarin de aangeklaagden belachelijk gemaakt moesten worden. Witzleben droeg veel te grote kledij en daarnaast schreeuwde nazirechter Roland Freisler uitsluitend naar de aangeklaagden. Het oordeel stond voor het proces al vast, het doodvonnis. Gedurende het proces bekende Witzleben zijn deelname en de verantwoordelijkheid voor het bevel om de concentratiekampen te bevrijden. De volgende dag, 8 augustus 1944, vroeg Witzleben of hij door een vuurpeloton geëxecuteerd kon worden, maar Hitler had al bevolen dat alle veroordeelden opgehangen moesten worden als verraders. Witzleben hoorde zijn oordeel aan en deelde Freisler mee: "U kunt ons de beul geven.. Maar binnen 3 maanden zal het verontwaardigde en gekwelde volk u voor het gerecht brengen en zal u in levende lijve door de drek van de straten slepen." Diezelfde avond werd Generalfeldmarschall Erwin von Witzleben opgehangen; de executie werd op Hitler’s bevel gefilmd. Na de oorlog vocht zijn familie voor het intrekken van het vonnis en eerherstel voor Witzleben. Zijn vonnis werd op 31 mei 1946 ongedaan gemaakt, waardoor hij niet meer als landverrader werd aangemerkt.