Gül Baba (Tatăl Trandafirilor) și-a primit numele de la firul de trandafir pe care îl purta pe turban. Iar trandafirii selecționați, crescuți de el, erau renumiți pentru frumusețea lor și pe meleaguri îndepărtate ale lumii. Avea nevoie de această „publicitate“ bună, deoarece avusese interese serioase în vânzările de parfumuri. Conform tradiției, la sfârșitul secolului al XIX-lea și zona din împrejurimea monumentului - Rózsadomb, adică Dealul Trandafirilor - a fost denumită după Gül Baba, deoarece dervișul crease o grădină mare de trandafiri, în terase, pe versantul sud-estic al acestei coline din Buda. Fiind un membru al unuia dintre ordinele monahal ale islamului, ordinul dervișilor Bektași, el a propovăduit ideile Coranului, slujind mai mulți sultani. Gül Baba era un derviș nobil și binevoitor, care a fost rănit în timpul ocupării Cetății Buda și a murit în curând în biserica pe care o transformase într-o geamie (casă de rugăciune) - în biserica Mátyás de astăzi. Capela funerară, ridicată deasupra mormântului său, a fost construit în timpul celui de-al III-lea Pașalâc de Buda.
Buda a fost recucerită de trupele europene unite în 1686, turcii s-au retras de pe aceste meleaguri, iar mormântul lui Gül Baba a intrat în proprietatea ordinului iezuit, care au făcut locul funerar mai „creștin” după propriile sale preferințe. După dizolvarea ordinului, locul a intrat în proprietate privată și a fost cumpărată în cele din urmă în 1861 de arhitectul János Wagner, care începând de la mijlocul anilor 1880, în aproximativ 20 de ani și-a construit o vilă familială de vacanță în jurul capelei funerare. Următorul eveniment semnificativ din istoria mormântului a avut loc în 1914, când a fost declarat monument și a început renovarea sa. În cursul săpăturilor conduse de antropologul Lajos Barhucz, în mijlocul capelei a fost găsit scheletul unui om mai bătrân, robust, de 164 cm înălțime, care a fost identificat ca rămășițele posibile ale lui Gül Baba. Capela funerară a fost protejată de bombardamentele din timpul celui de-Al Doilea Război Mondial de zidurile Vilei Wagner, care o înconjurau. Lucrările de restaurare au demarat la începutul anilor '60, urmând proiectele lui Egon Pfannl. În anii ’70, în jurul monumentului a fost construite bastioane de belvedere.