Během profesionální kariéry prošel "Dino" Spartou, Lokerenem, Anderlechtem, Dortmundem, Monakem, Norimberkem, Samarou a Cannes. V nejvyšších soutěžích nastřílel celkem 180 gólů, mistrovské tituly získal kromě Česka i v Belgii a Německu. V roce 1999 vyhrál domácí anketu Fotbalista roku, o rok později byl vyhlášen nejlepším hráčem belgické ligy.
"Vzestup v Belgii, titul v Dortmundu, první reprezentační góly a také účast na čtyřech šampionátech, i když ten světový skončil zraněním. Pamatuji se i na první gól v lize za Spartu, po kterém následoval známý ukoktaný rozhovor, kterým se dodnes baví na internetu fanoušci, nebo nezvyklý brankářský záskok v dortmundském dresu proti Bayernu," vzpomínal skvělý hlavičkář na milníky úspěšné kariéry.
V reprezentaci debutoval až v necelých 26 letech v únoru 1999 proti Belgii a hned se postaral o jediný gól utkání. Nejslavnější chvíle zažil na Euru 2004 v Portugalsku, kde spanilou jízdu svěřenců trenéra Karla Brücknera ukončila až smolná porážka v semifinále s Řeckem. Po dalším evropském šampionátu v Rakousku a Švýcarsku Koller svou kariéru v národním týmu uzavřel, nakrátko se vrátil v září 2009, kdy si připsal definitivně poslední 91. start.
Pražský rodák začínal s fotbalem jako brankář v jihočeské Smetanově Lhotě, v roce 1994 si ho z divizního Milevska už jako útočníka nečekaně vytáhla Sparta. Koller se sice prosadil do prvního týmu, v něm však velkou díru do světa neudělal. Upozornil na sebe především svým prvním rozhovorem pro média, když hodnotil utkání na Bohemians a svůj první ligový gól. "Byl to krásnej ten, krásná to, já to neumím ani vyslovit tyjo," hledal slova, načež o konci zápasu prohlásil, že byl "vyšperkovaný."
Po dvou letech na Letné však odešel jako nadbytečný hráč do belgického Lokerenu. V provinčním klubu se začala rodit jeho pověst stěží uhlídatelného kanonýra.
O kdysi vysmívaného nemotoru se najednou začaly zajímat přední evropské kluby. V roce 1999 přestoupil do Anderlechtu, po dalších dvou sezonách se stěhoval do Borussie Dortmund, jíž spolu s reprezentačním spoluhráčem Tomášem Rosickým pomohl k mistrovskému titulu i finálové účasti v Poháru UEFA. Přestože góly střílel i ve svých dalších působištích, jeho angažmá v Monaku, Norimberku či Samaře již tak úspěšná nebyla.
Po roce a půl v Rusku se Koller vrátil za rodinou na jih Francie a na sklonku kariéry oblékl dres třetiligového Cannes, než se v létě 2011 i kvůli přetrvávajícím zdravotním problémům rozhodl dát velkému fotbalu sbohem. "Fotbal a velké zápasy mi budou moc chybět, jenže zdraví řeklo dost. Tělo už je za celou kariéru hodně opotřebované," řekl tehdy.
Před třemi lety byl jako třetí hráč své generace po Pavlu Nedvědovi a Karlu Poborském přijat do Síně slávy českého fotbalu, loni měl premiéru dokumentární film Jan Koller - Příběh obyčejného kluka. Fakt, že góly střílet nezapomněl ani na prahu padesátin, dokazuje jak v utkáních za Smetanovu Lhotu, tak při různých exhibicích. Kromě toho se rozvedený otec dcer Hedviky a Kateřiny aktivně věnuje hokeji, tenisu či padelu.
