Rogge se stal osmým mužem v čele olympijské organizace v červenci 2001, kdy po 21 letech vystřídal Španěla Juana Antonia Samaranche. O osm let později post obhájil, v září 2013 jej vystřídal Němec Thomas Bach.

Rogge se jako sportovec třikrát zúčastnil olympijských soutěží v jachtingu, v němž byl i mistrem světa, reprezentoval také v ragby. Po ukončení aktivní kariéry působil v čelných funkcích Belgického olympijského výboru, jehož byl v letech 1989 až 1992 předsedou. Vedl taktéž Asociaci evropských olympijských výborů.

Členem MOV byl od roku 1991, o sedm let později se dostal do výkonného výboru. Po zvolení předsedou v roce 2001 označil za svou prioritu boj proti dopingu a korupci a také proti gigantismu a okázalosti olympiád.