La famiglia Esterházy si fece strada tra le famiglie nobili più influenti nella seconda metà del secolo XVI. Tra i suoi membri illustri si trovano il conte palatino d’Ungheria, un vescovo, un giudice della regia curia, un primo ministro e uno scrittore insignito del premio Kossuth.
Il castello si trova nel centro della città, nella piazza Principale ed ancora oggi è la principale attrazione turistica della città. La roccaforte, che dopo la cacciata degli ottomani perse la sua funzione di difesa, fu trasformato in castello barocco su commissione del feudatario Ferenc Esterházy, gran maestro tesoriere di Maria Teresa. I lavori di costruzione iniziarono nel 1740. I progetti furono disegnati da Franz Anton Pilgram, famoso architetto austriaco. In questo periodo fu completata anche la cappella inserita tra la fila di appartamenti al piano. Le pareti della cappella sono decorate con gli affreschi di Joseph Ignaz Mildorfer, pittore barocco, per il restauro dei quali è stato assegnato a Pápa il premio Europa Nostra nel 1990.