Osim je fudbalsku karijeru počeo u 1954. godine u omladinskom pogonu Željezničara u kojem je kasnije zahvaljujući sjajnim igrama stekao i nadimak „Strauss sa Grbavice“. Za prvi tim sarajevskih „plavih“ debitovao je 1959. godine na utakmici protiv Proletera iz Osijeka. Nakon devet godina provedenih u prvom timu Željezničara odlazi u inostranstvo gdje je igrao za holandski Zwolle. No, zadržao se svega tri mjeseca i vratio se na svoju Grbavicu, gdje je igrao do 1970. godine i odlaska u francuski Strasbourg. Potom je igrao i za Sedan i Valenciennes, ali se vratio u Strasbourg gdje je i završio igračku karijeru 1978. godine.
Osim je tokom igračke karijere upisao 16 nastupa za reprezentaciju SFR Jugoslavije, koju će kasnije kao selektor na Svjetskom prvenstvu u Italiji 1990. odvesti do četvrtfinala.
Blistavu trenersku karijeru počeo je 1978. godine u Željezničaru, s kojim je ostvario najveći uspjeh u evropskim takmičenjima u istoriji kluba. Odveo je „Želju“ do polufinala Kupa UEFA u sezoni 1984/85, ali su tamo nesretno eliminisani od mađarskog Videotona. Od 1986. do 1992. godine bio je selektor Jugoslavije, a paralelno je posljednje dvije godine mandata vodio i beogradski Partizan.
Ostavku na klupi reprezentacije Jugoslavije dao je 23. maja 1992. godine zbog opsade Sarajeva na press konferenciji u Beogradu.
„To je neka moja lična odluka, a ja neću da govorim radi čega i da objašnjavam, jer vi to vrlo dobro znate. Ali ako ništa drugo, i ono jedino što mogu da učinim za taj grad pa da se i vi sjetite da sam se rodio u Sarajevu, a znate šta se dešava“, rekao je tada između ostalog Osim.
Kasnije je vodio Panathinaikos, a velike uspjehe ostvario je sa Sturmom iz Graza i japanskim JEF Unitedom. Selektor reprezentacije Japana je postao 2006. godine, a na toj funkciji je bio sve do kraja 2007. kada je doživio moždani udar,
No, i narušenog zdravstvenog stanja nije odustajao od bh. fudbala, pa se posebno pamti njegova uloga iz 2011. godine, kada je preuzeo vodstvo nad komitetom koji je FIFA formirala kako bi stabilizovala Fudbalski savez Bosne i Hercegovine. Zahvaljujući njegovom angažmanu, BiH je izbjegla dužu izolaciju iz svjetskog fudbala, što je kasnije otvorilo vrata historijskom plasmanu reprezentacije na Mundijal u Brazilu 2014. godine
Preminuo je 1. maja 2022. godine u Grazu, austrijskom gradu u kojem trg ispred Strumovog stadiona nosi njegovo ime. Sahranjen je u Sarajevu gdje je ulica, koja prolazi pored stadiona Grbavica, nedavno dobila ime Bulevar Ivice Osima.