Rössler-Ořovský se narodil 29. června 1869 v Praze v rodině majitele velkoobchodu s drogistickým zbožím. Již v mládí byl všestranným sportovcem. S přibývajícími sportovními aktivitami se ale horšil jeho prospěch ve škole a otec tak svého syna raději poslal na studia do zahraničí. Více než obchod ale mladého Rösslera-Ořovského stále více zajímal sport a již jako osmnáctiletý se nesmazatelně zapsal do historie českého sportu.
V lednu 1887 mu z Norska dorazily první lyže a Rössler-Ořovský spolu s bratrem Karlem na nich hned vyrazili na Václavské náměstí. Za svitu plynových lamp sjeli od rozestavěného Národního muzea až na Můstek a je jim připisován první lyžařský pokus v českých zemích. Rösslera-Ořovského nový sport nadchl, a jak bylo jeho dobrým zvykem, téměř okamžitě založil při Bruslařském klubu v Praze lyžařský kroužek (později Český Ski Klub Praha), první lyžařský spolek v Evropě mimo Skandinávii.
Později založil i další sportovní kluby, například I. Český lawn tennis club nebo Český yacht klub, později i ústředí tenistů, lyžařů, hokejistů nebo kanoistů. Stál také u zrodu České amatérské atletické unie (ČAAU), která je předchůdkyní dnešního Českého atletického svazu (ČAS). Do čela unie byl zvolen člen mezinárodního olympijského výboru Jiří Guth-Jarkovský, blízký spolupracovník a přítel Rösslera-Ořovského, který se stal místopředsedou unie.
Uplatnil se i jako závodník v rychlobruslení nebo veslování, již v roce 1887 uspořádal jedny z vůbec prvních atletických závodů v Čechách. Rössler-Ořovský se ale zapsal i do historie české kopané, 29. března 1896 totiž v Praze pískal první fotbalové střetnutí věčných rivalů Sparty a Slavie, ke kterému též přeložil první fotbalová pravidla. V prvním derby padl jediný gól, ale Rössler-Ořovský ho Spartě dodatečně neuznal, takže zápas skončil bez branek. Propagoval také hokej, kanoistiku či ragby a v řadě sportů působil jako rozhodčí.
V květnu 1899 byl zásluhou Gutha-Jarkovského a Rösslera-Ořovského založen Český výbor pro hry olympijské. V lednu 1900 byl zvolen jeho prvním zpravodajem, v roce 1908 se stal vedle Václava Rudla generálním tajemníkem. S ohledem na státoprávní uspořádání fungoval národní výbor bez úředně schválených stanov a v začátcích čelil také vytrvalým snahám vídeňské vlády zakázat ho. Přesto slavil nemalé úspěchy, když počínaje II. olympijskými hrami 1900 v Paříži prosadil samostatnou účast českých sportovců na olympijských hrách, což mělo zásadní mezinárodně politický význam.
Z titulu své funkce tak vedl výpravy českých a později československých sportovců na olympijských hrách 1908 v Londýně, kde si dokonce zahrál i dvouhru a čtyřhru v tenise, v roce 1912 ve Stockholmu, 1920 v Antverpách, 1924 v Paříži, 1928 v Amsterodamu a rovněž na zimních olympijských hrách 1928 ve Svatém Mořici. V roce 1929 ale znechucen poměry v olympijském výboru na svou funkci rezignoval, i jako projev solidarity s Guthem-Jarkovským, který podal demisi na funkci předsedy výboru.
Rössler-Ořovský byl nadaným diplomatem. "První vstával, poslední chodil spát, když bylo třeba, ač nekuřák, kouřil, když bylo třeba, pil, ale vždy zůstával střízlivý a připravený diskutovat a přesvědčovat. Byl rovněž velice vtipný a pohotový. Například na olympiádě 1908 v Londýně vyvrátil námitky Rakouského olympijského výboru proti samostatné účasti Čechů tím, že na rakouské minci ukázal nápis Rex Bohemiae, což britskému členu MOV a tajemníkovi organizačního výboru Courcy Laffanovi stačilo jako důkaz české suverenity," píše se na stránkách Českého olympijského výboru.
Rössler-Ořovský zemřel 17. ledna 1933 ve věku 63 let. Je pohřben na Vyšehradském hřbitově v Praze. Jeho náhrobek symbolicky zdobí kromě jeho podobizny i lyže.
