La primera fortaleza se construyó en la Colina de Buda por orden del soberano húngaro después de la devastadora invasión tártara en el siglo XIII. La construcción del impresionante palacio gótico fue iniciada por los soberanos de la casa Anjou y, durante esa época, la corte se trasladó aquí de forma permanente, con lo que Buda también se convirtió en la sede del país. Vivió su edad de oro bajo el reinado de Matías I, durante el cual esta fue la primera de las cortes europeas donde se estableció el estilo arquitectónico renacentista surgido en Italia. En el palacio imperaba la vida intelectual, grandes científicos y artistas de Europa trabajaron aquí, y la famosa biblioteca de Matías, la Biblioteca Corvina, también estaba ubicada en el castillo. El modelo de esta obra arquitectónica muy probablemente haya sido la reconstrucción entonces en curso del Palazzo Vecchio en Florencia.