Berger to tehdy měl se stranickými funkcionáři těžké. V roce 1981 se po jednom ze zápasů opil, vulgárně se pustil do prezidenta Husáka a plánoval, jak z Československa emigruje. Po zadržení strávil měsíc ve vazbě a Sparta s ním ukončila smlouvu. "Opravdu jsem se bál, že to může znamenat konec kariéry," vzpomíná na ruzyňskou věznici. Nakonec to tak horké nebylo, ale lacino také nevyšel. U soudu dostal podmínečný trest na 14 měsíců, musel k Apolináři na protialkoholní léčení a následně strávil několik měsíců ve fabrice manuální prací.
"V té době hráči museli mít kromě fotbalu i nějaké papírové zaměstnání," připomíná Berger, "ale tam na nás vydělávali ostatní – já se jen jednou za půl roku zastavil s basou piva, rozdal fotky a pokecal. Až po tom průšvihu jsem do Prefy chodil šroubovat k panelům na směny; buď před tréninkem, anebo po něm."
