Dana 21. januara 1905. godine potpisan je akt o osnivanju Druge gimnazije. Potpisao ga je tadašnji ministar zajedničkog ministarstva finansija Austro-Ugarske monarhije Ištvan Burian. Škola se zvala Mala realka, a u početku je bila spojena s Tehničkom školom. Osnivačkim aktom je određeno da nastava počinje 1. septembra 1905. godine, a školu je upisalo 113 polaznika. To je bio početak odgojno-obrazovnog rada naše škole, koja je do danas uspjela odškolovati veliki broj učenika, koji su daanas priznati stručnjaci u zemlji i svijetu u svim oblastima ljudskog stvaralaštva. Tokom burne historije Druga gimnazija je preživljavala sve ono što se dešavalao u Bosni i Hercegovini i Sarajevu uvijek bivajući korak ispred u znanju svojih učenika. Gimnazija se vremenom profilirala u školu koja je prepoznatljiva po međunarodnim uspjesima svojih učenika, posebno na takmičenjima iz matematike, fizike i informatike. Medalje su se osvajale čak i u ratu. Ove godine se obilježavaju još dva značajna jubileja: 25 godina od uvođenja IB Diploma programa i 20 godina od uvođenja IB Middle Years Programa, kada je, postavši članicom IBO-a kao prva u Bosni i Hercegovini, naša škola zaokružila međunarodno četvrogodišnje srednjoškolsko obrazovanje. Danas je Druga gimnazija moderna srednja škola, koju trenutno pohađa 763 učenika u nacionalnom, zatim IB Middle Years i Diploma Programu i koji  postižu zapažene rezultate u svim oblastima na domaćoj i međunarodnoj sceni.