Pri výstavbe parku bol centrom letohrádok - od jeho budovy vychádzali radiálne cesty parku. Jeho základný kameň bol položený za prítomnosti Ferenca Esterházyho 11. októbra 1783. Jeho plány vypracoval József Grossmann, ktorý bol pomocníkom Jakaba Fellnera a potom ho vystriedal v kaštieľskej architektonickej kancelárii a vzhľadom na jeho skorú smrť ide o jediné zachované významné dielo. Figurálnu výzdobu jednoposchodovej neskorobarokovej budovy (copf) vytvoril Antal Schweiger. V súčasnosti je na dolnom poschodí výstava porcelánu Herend a na hornom poschodí výstava Maďarské anglické záhrady. V roku 1934 vytvoril gróf Ferenc Esterházy v Anglickej záhrade scénu pod holým nebom. Na okraji oblasti bolo v máji 1948 určené miesto olympijského výcvikového tábora, keďže klíma tohto mesta bola najviac podobná londýnskemu. Po úspešnom olympijskom vystúpení bol kemp v roku 1951 kompletne vybudovaný a odovzdaný športovcom a dodnes patrí medzi bašty maďarského športu.
Miklós Esterházy, kapitán uhorskej telesnej stráže, dostal v roku 1762 panstvo Tata a Gesztes. V tom istom roku poveril Jakaba Fellnera vypracovaním plánov svojho sídla v Tate. Stavba hradu sa začala v 60. rokoch 18. storočia. Celý komplex budov bol dokončený asi za 16 rokov, v ktorom sú dve nárožné veže prepojené ozdobnými bránami do stavebných častí obklopujúcich nádvorie a do bývalého apartmánu Ferenca Balogha, guvernéra-správcu panstva. Na prízemí bola kedysi kaplnka a jedáleň, na hornom poschodí sa nachádzala hodovná sieň s výhľadom na Staré jazero. V roku 1809 cisár František I. a uhorský kráľ podpísali v miestnosti severnej veže zámku takzvaný Schönbrunnský mier, ktorým sa ukončila unáhlená vojna Rakúska proti Napoleonovi. Počas vojenského cvičenia v roku 1897 bola budova opäť známym hosťom, pretože v nej bol ubytovaný nemecký cisár Wilhelm II. Posledný uhorský kráľ Károly IV. tu bol spolu s kráľovnou Zitou zadržaný 24. októbra 1921 po zostavení opozičnej vlády a po druhýkrát pokuse o opätovné prevzatie moci od guvernéra Miklósa Horthyho. Odtiaľto bola kráľovská skupina najprv vyhnaná do Tihany a potom na portugalský ostrov Madeira. Po druhej svetovej vojne v budove fungovala nemocnica, potom sa jej stav nevyužívaný stále zhoršoval a dnes v tichosti čaká na kompletnú rekonštrukciu. Niekdajší svetlý zámok, ktorý bol plný šľachtického života, je možné navštíviť len pravidelne, počas špeciálnych podujatí.