Johansson zahájil funkcionářskou kariéru v bandy hokeji (hokej s míčem). Po přestupu k fotbalu se vypracoval až do čela švédského svazu, který vedl v letech 1984 až 1991. O rok později byl zvolen pátým předsedou UEFA a stal se nástupcem Francouze Jacquese Georgese.
Vedle vzniku Ligy mistrů se zasloužil o výrazné rozšíření a zvýšení prestiže evropského šampionátu, který v roce 1992 přivedl do své země. Za jeho působení se také administrativa Evropské fotbalové unie přesunula z kanceláře v Bernu do nového moderního sídla v Nyonu na břehu Ženevského jezera.
"Byl to náš největší mezinárodní fotbalový lídr, žádný jiný Švéd takový vliv na světový fotbal neměl. Byl hluboce respektován jako předseda UEFA i místopředseda FIFA, jeho vůdčí schopnosti sklízely obdiv po celém světě," řekl současný šéf švédského fotbalu Karl-Erik Nilsson.
V čele UEFA skončil Johansson v lednu 2007, kdy prohrál ve volbách s Michelem Platinim. Na návrh legendárního francouzského hráče byl vzápětí zvolen čestným předsedou.
