Familia Esterházy a devenit una dintre cele mai influente familii aristocratice din Ungaria în a doua jumătate a secolului al XVI-lea. Familia a dat Ungariei, printre alții, doi palatini (nádor), un arhiepiscop, un vornic (főbíró), un prim-ministru și un scriitor distins cu Premiul Kossuth.
Castelul Esterházy din Pápa este situat în centrul orașului și este încă motorul turismului orașului. Începând cu anii 1740 cetatea veche, care și-a pierdut funcția defensivă după expulzarea turcilor, a fost reconstruită și transformată în castel baroc de către Ferenc Esterházy, mare trezorier al reginei Maria Terezia. Proiectarea a fost asigurată de un renumit arhitect austriac, Franz Anton Pilgram, care a construit și o capelă de castel, integrată în șirul camerelor de la etaj. Pereții capelei au fost decorați cu fresce de pictorul baroc Joseph Ignaz Mildorfer. Frescele au fost renovate în 1990, lucrare pentru care orașul a primit Premiul Europa Nostra.