La première fortification a été construite sur la colline du château de Buda au XIIIe siècle, à la suite de l’invasion dévastatrice des Mongols, sur ordre du souverain hongrois. La construction du spectaculaire palais gothique a été commencée par les souverains d’Anjou, qui ont fait y emménager leur cour de façon permanente : ainsi, Buda est devenue la capitale du pays. Le palais a connu son âge d’or sous le roi Matthias Ier : sa cour, parmi les premières en Europe, a adopté le style architectural de la Renaissance née en Italie.
Une vie intellectuelle effervescente se déroulait entre les murs du palais : d’illustres scientifiques et artistes européens y travaillaient, et la célèbre bibliothèque du roi Matthias, la « Bibliotheca Corvina », était également accueillie dans le palais. Le modèle des œuvres architecturales était très probablement le Palazzo Vecchio de Florence, en cours de reconstruction à cette époque.