1945 márciusára a visszavonulás során elérték Sopron városát az ausztriai határ mellett. Ott találkozott újra Czegei Wass Albert feleségével és fiaival a család barátainak otthonában. Azt is felderítette, hogy régi parancsnoka Veress tábornok a közelben Kőhalmán van bebörtönözve. Engedélyt szerezve a látogatására megtudta, hogy a parancsnoknak még mindaddig sikerült kapcsolatban maradni a földalatti mozgalommal, mely elkezdte a szervezkedést a szovjet megszállás idejére. Felajánlotta, hogy elküldi családját a német rokonokhoz, ő pedig csatlakozik a földalatti mozgalomhoz. A tábornok meggyőzte őt arról, hogy nagyobb érték az, ha életben marad és íróként elmondja a világnak a nemzeti szocializmus és a kommunizmus minden veszélyét, míg igazságos békét nem nyernek a magyar nép számára.
A menekülés a szovjet hadsereg árnyékából a közelgő amerikai haderőkhöz a német Bajor földön át kevés esélyről és nagy szívfájdalomról szól. A földalatti kapcsolatai révén őt rendelték oda, hogy kísérőként segítsen a menekült családokkal telt vonat Magyarországról való kijutásában. A vonat sűrű golyózápor között hagyta el Magyarországot, s talán az utolsó volt, amelynek sikerült ez az akció.
Áprilisra sok kitérővel, a visszavonuló német vasúti forgalmat kikerülgetve Ausztrián és Csehszlovákián át a vonat átjutott Németországba a sűrű “Bajor erdők”-be (Bayerischer Wald) mikor az üzemanyag kifogyott a Bleibach nevű kisvárosban. Egy napos felderítés után Czegei Wass Albert talált két üres szobát a Rabb családnál a Plarnhof nevű közeli falucskában. A Rabb család gazdaságában munkáskézre volt szükség, mivel a fiak még valahol a fronton voltak. Azon az éjszakán a magyar arisztokrata család egy fillér nélkül sétált fel Plarnhof magas hegyére, mialatt folyt a tüzérségi harc a nyugatról bejövő amerikai haderők és a keleten még harcoló német erők között.
Néhány nap múlva az amerikaiak megérkeztek Plarnhofba és a magyar lovassági tisztet bebörtönözték. Rövid fogvatartás után mégis kiengedték, amikor felesége Éva megjelent a táboron kívül három kisfiúval az oldalán és a negyedikkel a karján, és angolul beszélve azt kérte, hogy találkozni akar a tábori parancsnokkal. Az amerikaiak nem láttak semmi okot arra, hogy fogva tartsák. A család a Rabb farmház két kis szobájában lakott 1949 májusáig.
Míg a háború utáni élet a Bajor országrészben próbára tette az embert, de sokkal jobb volt, mintha menekült táborban élt volna a család. Valóban, teljes és kielégítő volt az életük sok tekintetben. A magyar nemesember nem vesztegette az időt, hanem két kézzel nekigyürkőzött minden munkának és nem fogott ki rajta semmilyen munka. Egy rövid ideig az amerikai katonai kormánynak földmérőként dolgozott, de elsősorban a Rabb családnak segített a termény betakarításbán. Már az első tavaszon egy nagy veteményes kertet tervezett. A kert egyharmadában dohányt ültetett. A zöldségeskert nemcsak a családot látta el, de a Rabb család egészséges életrendjét is kiegészítette. A menekült magyar család viszonzásul tejet és vajat kapott. A dohánytermés azokban a napokban annyit ért mint az arany. Ősszel és télen, miután a termés be volt takarítva, Albert reggel elindult a farmról egy nagy üres hátizsákkal és cigarettával teli kis dobozokkal, amit előző este összesodort. Este tért haza, a hátizsákja megrakva szalonnával, sonkával, sajttal, kenyérrel és más szükségleti cikkekkel – az árucsere eredményeivel. Nyáron a család gombát és fekete áfonyát szedegetett az erdőben. Egy részét felhasználták, a többit eladták a piacon. Albertet alkalmi favágással is megbízták és kézpénzzel fizettek. Laikus lelkipásztorként is szolgálatot teljesített a szétszórt magyar protestánsoknak, akik a közelben hasonló körülmények között éltek – a többnyire katolikus Bajorországban.
Arra is volt ideje, hogy írjon és a gyermekeivel időt töltsön. Egyik kincse, amit magával tudott vinni az írógépe volt. Néhány regényt irt ezalatt az idő alatt. Azokat a történeteket, amelyekkel fiait szórakoztatta a gyermekeknek irt könyvek történeteiben feldolgozta. Ekkor írta meg az Adjátok vissza a hegyeimet (Give Me Back My Mountain) című művét. Lefordították német, spanyol, holland, és angol nyelvekre – mely a háború után Európa egyik legsikeresebb könyve lett. Ez egy fiatal erdélyi hegyi fiú története. Először a románok üldözték, majd a németek, s végül az oroszok, s mire észre veszi, egy kitelepített személy lett belőle nyugat Európában család nélkül, ország nélkül és jövő nélkül.