Gül Baba (Oče vrtnic) je dobil ime po rožnati niti, ki jo je nosil na turbanu. Vrtnice, ki jih je gojil, so po svoji lepoti slovele daleč naokoli. Potreboval je dobre odnose z javnostjo, saj je imel velik interes za posel s parfumi. Po izročilu naj bi to območje konec 19. stoletja po Gül Babi dobilo ime Vrtnični hrib (Rózsadomb), saj je derviš oblikoval stopničast vrtnični vrt na jugovzhodnem pobočju Budimskega hriba. Kot član muslimanskega bektaškega meniškega reda dervišev je pridigal iz Korana kar nekaj sultanom. Gül Baba je bil dobrosrčen derviš plemenitega značaja, ki je bil ranjen ob zavzetju Budimskega gradu in je kmalu zatem umrl v današnji Matjaževi cerkvi, ki jo je preuredil v mošejo (molilnico). Njegovo grobnico je zgradil tretji budimski paša.
Leta 1686 so Budim ponovno zavzele združene evropske čete, zato so se Turki umaknili, mavzolej Gül Babe pa je postal last jezuitskega reda, ki je kraj po svojem okusu naredil bolj »krščanski«. Po ukinitvi reda je leta 1861 parcelo, ki je prešla v zasebno last, kupil arhitekt János Wagner, ki je od srede osemdesetih let 19. stoletja v približno 20 letih na njej zgradil svojo vilo kot družinsko počitniško hišo. Naslednji pomemben dogodek v zgodovini te grobnice je iz leta 1914, ko je bila spomeniško zaščitena in so jo začeli obnavljati. Med izkopavanji, ki jih je vodil antropolog Lajos Barhucz, je bilo sredi gomile najdeno starejše močno grajeno okostje, visoko 164 centimetrov, ki so ga prepoznali kot ostanke Gül Babe. Med drugo svetovno vojno je mavzolej pred bombardiranjem varovalo obzidje Wagnerjeve vile, ki ga je obdajala. Obnovitvena dela so se začela na začetku šestdesetih let po načrtih Egona Pfannla. V sedemdesetih letih so okoli mavzoleja postavili razgledni stolp.