Prve ideje o formiranju jednog profesionalnog ansambla u bosanskohercegovačkoj prijestolnici, koji bi izvodio umjetničku muziku zapadnoevropskog tipa, potekle su iz Oblasne muzičke škole.
Prvi koncert održan je 15.04.1920. godine u dvorani sarajevskog kina Imperijal. Ovi mali, ali značajni koraci vodili su do održavanja osnivačke skupštine Sarajevske filharmonije koja je održana 6. jula 1923. godine, a prvi koncert održan je 24. oktobra iste godine. Solista na klaviru bio je Klemens Menšik, a dirigovali su Aleksandar Lukinić i Josip Rožđalovski.
Zbog ratnih dešavanja, u periodu od 1941. do 1945. godine, Filharmonija je obustavila rad i 1948. godine ponovo nastavlja sa svojim aktivnostima.
Sarajevskom filharmonijom su dirigovali Ivan Štajcer, Mladen Pozajić, Teodor Romanić, Miroslav Homen, Oskar Danon, Julio Marić, Dragiša Savić, Radivoj Spasić, Boris Papandopulo i brojni drugi renomirani dirigenti. U odnosu na period djelovanja prije 1941. godine, Sarajevska filharmonija je značajno proširila svoj repertoar izvodeći djela ne samo stranih, već domaćih kompozitora.
Godina 1992. označila je početak agresije na Bosnu i Hercegovinu, te samim tim i destrukciju svega što je građeno prethodnih decenija. Tako je i Sarajevska filharmonija prekinula sa radom dvije godine pretrpivši velike materijalne, ali i ljudske gubitke.
Svojevrsnu prekretnicu u radu Filharmonije predstavljao je koncert održan 19. juna 1994. godine kada su pod dirigentskom palicom velikog Zubina Mehte u razrušenoj Vijećnici izveli Mozartov Requiem. Kao solisti nastupili su Jose Carreras, Ruggero Raimondi, Cecilia Gasdia i Ildiko Komlosi.
Iste godine Sarajevska filharmonija održava koncerte u Italiji, a narednih godina nižu se gostovanja u Austriji, Turskoj, Češkoj, Francuskoj, Švicarskoj, Italiji… Nakon završetka rata, Sarajevska filharmonija se u kadrovskom smislu obnavlja i ostvaruje značajne nastupe u zemlji i inozemstvu.
Sarajevska filharmonija nastavlja težiti ka ciljevima postavljenim u začetku svoje djelatnosti, ostavši tako jedan od svjetionika kulturne scene i svakako jedna od najvažnijih karika u lancu sarajevskog i bosanskohercegovačkog muzičkog života.