Prva utrdba na budimskem griču je bila postavljena po mongolskem opustošenju v 13. stoletju na ukaz madžarskega vladarja. Gradnjo spektakularne gotske palače je začela vladarska hiša Anžujcev, pod katero se je dvor trajno preselil sem. Tako je Budim postal sedež države. Zlato dobo je palača doživela pod kraljem Matjažem I. To je bil eden izmed prvih evropskih dvorov, ki je prevzel italijanski renesančni gradbeni slog. V palači je vrvelo duhovno življenje, tu so ustvarjali odlični evropski znanstveniki in umetniki, na gradu pa je delovala slavna knjižnica kralja Matjaža, Bibliotheca Corvina. Vzor gradbenih del je bila najverjetneje takratna obnova palače Vecchio v Firencah.