Gül Baba (Otac ruža) ime je dobio po tome što je uvijek imao struk ruže na svom turbanu. A ruže koje je on kalamio i uzgajao bile su nadaleko poznate po svojoj ljepoti. Dobar glas mu je zaista bio potreban, jer je imao ozbiljne poslovne interese u prodaji parfema. Prema predaji, krajem 19. stoljeća Rózsadomb (Brdo ruža) je svoje ime dobio po Gül Babi. Ovaj derviš je, naime, na jugoistočnim padinama Budimskoga brda zasadio veliki stepenasti ružičnjak. Kao pripadnik jednog od monaških redova islama, bektašijskog derviškog reda, služio je čitavom mnoštvu sultana propovijedajući riječ Kurana. Gül Baba bio je dobrodušan, plemeniti derviš. Ranjen je za vrijeme osvajanja Budimskoga dvorca. Ubrzo je umro u crkvi koju je on pretvorio u džamiju (bogomolju). To je danas crkva Matije (Mátyás-templom).
Grobnicu na njegovu grobu podigao je 3. budimski paša. Ujedinjene europske trupe su ponovno osvojile Budim 1686. godine te su se Turci povukli. Grobnica Gül Babe postala je vlasništvo isusovačkog reda, koji je to mjesto uredio prema vlastitom ukusu i učinio ga "kršćanskijim". Nakon raspuštanja reda, parcela je dospjela u privatno vlasništvo. 1861. godine ju je otkupio arhitekt János Wagner, koji je na njoj sredinom 80-ih godina 19. stoljeća sagradio vilu, obiteljski ljetnikovac. Kuća je bila sagrađena za otprilike 20 godina. Sljedeći značajan događaj u povijesti ove grobnice bio je 1914. godine, kada je proglašena spomenikom kulture i kada je započela njezina obnova. Iskapanjem, koje je vodio antropolog Lajos Barhucz, usred grobnice pronađen je kostur osobe snažne građe, visoke 164 cm, a koji bi se mogao identificirati kao posmrtni ostaci Gül Babe. Grobnica je bila zaštićena od bombardiranja u Drugom svjetskom ratu zidovima vile Wagner koji su je okruživale. Radovi na obnovi započeli su početkom 60-ih godina prošloga stoljeća prema planovima Egona Pfannla. 70-ih godina je oko grobnice izgrađen i vidikovac.