Na rozdiel od vyššie uvedených veľkých galérií, základom zbierky výtvarných diel v Múzeu výtvarného umenia je súkromná zbierka bohatého maďarského šľachtického rodu Esterházyovcov a nie cisársky či kráľovský majetok. Obrazy, kresby a rytiny tejto zbierky odkúpil v roku 1870 maďarský štát. Vystavená zbierka sa časom výrazne rozšírila a v súčasnosti sa považuje za najväčšiu v strednej Európe. Medzi vystavených umelcov patrí Leonardo, Raffaello, Tiziano, Dürer, El Greco, Velázquez, Rubens, Rembrandt, Van Dyck, Tiepolo, Goya, Manet, Monet, Toulouse-Lautrec, Renoir a Cézanne.
V prvých rokoch zbierku uchovávali v Akadémii, ale po krátkej dobe už bola na tento účel príliš malá. Súčasnú budovu slávnostne otvoril v roku 1906 osobne cisár rakúsko-uhorskej ríše František Jozef v rámci veľkých miléniových investícií. K prvému veľkému rozšíreniu a významnej zmene došlo až po uplynutí sto rokov. Rekonštrukcia bola dokončená v roku 2018, takže modernizované múzeum je teraz opäť otvorené pre návštevníkov.