Weissmüller se narodil 2. června 1904 jako banátský Němec v tehdejším Rakousko-Uhersku (dnešní rumunský Temešvár).
Nebyl mu ještě ani rok, když s rodiči přesídlil do Pensylvánie, kde jeho otec pracoval jako horník, po dalších třech letech se přestěhovali do Chicaga.
Když Johnny prodělal obrnu, poradil mu lékař, aby začal s plaváním, které mu pomůže s uzdravením. Byla to klíčová rada.
Brzy začal vyhrávat každý plavecký závod, do kterého se přihlásil, k tomu si přivydělával jako plavčík. Jeho výdělek se hodil, zvlášť když otec rodinu opustil.
V roce 1921 se stal Weissmüller mistrem USA a překonával jeden rekord za druhým. O rok později, 9. července 1922, se stal prvním člověkem na světě, zaplaval 100 metrů volným způsobem pod jednu minutu.
Královskou plaveckou trať zdolal za 58,6 vteřiny, čímž překonal světový rekord dalšího legendárního amerického plavce a surfaře Dukea Kahanamokua.
Vrcholná představení předváděl Weissmüller na olympiádě v Paříži v roce 1924 a o čtyři roky později v Amsterdamu.
Po zisku pěti zlatých olympijských medailí a překonání 67 světových rekordů se s amatérským plaváním definitivně rozloučil začátkem roku 1929.
Plavky vyměnil za filmové plátno a vedl si ještě lépe. Ve dvanácti snímcích ztvárnil krále džungle - Tarzana, čímž okouzlil mnohá ženská srdce.
V 50. letech se objevil ještě v dalších dobrodružných filmech jako Jungle Jim, ale v Hollywoodu lesk jeho hvězdy pomalu uhasínal.
Později si vydělával na živobytí jako plavecký instruktor nebo vrátný hotelu v Las Vegas.
Zemřel v mexickém Acapulcu 20. ledna 1984 ve věku 79 let rok poté, co byl uveden do americké olympijské Síně slávy.
Na jeho hrobě si lze přečíst krátký, ale všeříkající nápis: Johnny Weissmuller, Tarzan.