Construcția castelului, cu ziduri albe ca zăpada, a început în 1785, dar domeniul a devenit proprietatea familiei Brunszvik doar la începutul anilor 1800, iar clădirea, având inițial trăsături caracteristice stilului baroc, a fost modificată de membrii acestei familii de mai multe ori, de-a lungul deceniilor. Domeniul a fost cumpărat la sfârșitul secolului de proprietarul de fabrici de bere Antal Dreher, fiind ulterior transformat în spital militar, în timpul celui de-al doilea război mondial. În prezent, atât castelul, cât și domeniul se află în custodia Academiei Maghiare de Științe. Cel mai magnific element al castelului este grădina engleză de 70 de hectare, unde cel care a avut ideea realizării ei, contele Ferenc Brunszvik, a ordonat plantarea unor copaci speciali, precum migdali pitici, cedri și chiparoși de mlaștină. Arhitectul peisagistic al grădinii engleze a fost nimeni altul decât Heinrich Nebbien, care a proiectat și parcul Városliget din Budapesta. Curiozitatea parcului din Martonvásár este că apa pârâului Szent László care curgea prin el a fost stăvilită și s-a creat o insulă în mijlocul lacului rezultat. Insula are și o scenă în aer liber, care găzduiește concerte în mod regulat.
Și cum vine Beethoven aici?
Conform relatărilor scrise din aceea vreme, Beethoven a vizitat Martonvásár de trei ori pentru a preda fetelor Brunswick, acestea fiind la vârsta de douăzeci de ani. Beethoven, deși nu-i plăcea să predea - spunând că predarea este treaba celor care nu știu să compună muzică - a făcut o excepție cu Tereza și Iosefina. Prin predare, s-a dezvoltat o relație de prietenie între el și familie, iar fratele fetelor, Ferenc, a devenit un patron serios al compozitorului. Beethoven a oferit lui Ferenc compoziția Appassionata, pe care a terminat-o – conform legendei – pe insula din parcul castelului din Martonvásár, sub un plop mare. Această conexiune specială este comemorată de expoziția Beethoven din castel, unde puteți admira, printre altele, pianul compozitorului și scrisorile sale către Iosefina. De fapt, puteți admira o relicvă cu adevărat bizară, pentru că aici se păstrează un medalion conținând firele de păr ale lui Beethoven.