Krajina kolem Poláků patří k nejstarším osídleným místům severozápadních Čech. V prehistorické době sem zasahovalo osídlení lidem kultury šňůrové. V období 7. – 5. století př. n l. se v oblasti kolem Poláků nacházelo rozsáhlé pohřebiště bylanské kultury. V době slovanské patřil zdejší kraj do Luckého knížectví, které se podle Kosmovy kroniky dělilo na 5 žup. Poláky patřily do župy kadaňské. V raném středověku patřily Poláky správně i církevně do kadaňského arciděkanátu.

Území Poláků patřilo ve 12. století cisterciáckému klášteru v bavorském městě Waldsassen. Tento klášter byl založený roku 1133 Děpoltem III. z Vohburgu. Ve středověku místopisně patřil k tzv. Chebsku a tato poloha předznamenala jeho další osudy. Konvent během svého působení založil tři filiace, z nichž dvě ležely v českém království.

Zakladatelem filiálního kláštera nedaleko Poláků byl jistý Milhost, který ke konci 12. století mnichům nabídl k osídlení statek Mašťov. Milhost však nadále pobíral část výnosu z klášterního zboží a po šesti letech mnichy z Mašťova vyhnal. Kolem roku 1197 se pak mniši usadili v Oseku, kde jim poskytl azyl Slávek z rodu Hrabišiců.

Z kterého místa klášter založil jeden ze svých hospodářských dvorů, tzv. grangii, dnes tedy nevíme. Dvůr byl velký, dobře organizovaný a patřily k němu stáje, sýpky, i výroba zemědělských nástrojů. Půda v okolí byla velmi úrodná, zakládali tedy kolem dvora rozsáhlé polnosti a podle nich místo získalo pojmenování Poláky.

První písemná zmínka o vsi Poláky pochází z roku 1318, kdy náležela Vlkovi a Bavorovi, příslušníkům rytířského rodu Poláckých z Poláků. Poláčtí drželi vesnici rozdělenou na dva statky až do 20. let 16. století, kdy je koupili Mašťovští z Kolovrat. Z Poláckých je na jednom statku uváděn Vácslav a jeho tři synové, z nichž do roku 1411 přežil jen jeden, také Vácslav. Na druhém statku je zmiňován Vlad z Polák, vězněný v letech 1404–1407 na pětipeské tvrzi. V roce 1404 je uváděn i Odolen z Polák. Z dalších držitelů můžeme zmínit Markétu, která se v roce 1455 soudila o věno ve Vidolicích s Chotkem z Vojnína.

V areálu dnešního zámku původně stála tvrz a pozdější renesanční zámek, který postavili pravděpodobně v 1. polovině 16. století Mašťovští z Kolovrat. V písemných pramenech se zámek v Polákách poprvé připomíná v roce 1546. Tehdy Bohuslav Mašťovský z Kolovrat prodal zámek se dvorem, vsí Poláky a dalšími dvěma vesnicemi Janu Žďárskému ze Žďáru. Nový majitel ale hned v následujícím roce zemřel a jeho syn Žibřid Žďárský v roce 1552 statek prodal Felixovi Hasištejnskému z Lobkovic. Po jeho smrti Poláky zdědila Felixova sestra Barbora. Roku 1557 statek získal Václav z Lobkovic a na Duchcově, který jej v roce 1560 prodal Bohuslavu Felixi Hasištejnskému z Lobkovic a na Líčkově. Bohuslav Felix udělil Poláky roku 1772 do užívání své druhé ženě Anně z Fictumu a Egerberku. Podle Bohuslavovy poslední vůle z roku 1582 Poláky připadly jeho nejstaršímu synovi Janu Valdemarovi. V roce 1589 získal Poláky Jan starší z Lobkovic na Točníku a Nové Bystřici a po něm jeho bratr Ladislav Lobkovic na Zbirohu. Když Ladislav upadl v nemilost císaře Rudolfa II., musel roku 1593 opustit české království a Poláky mu byly vedle dalších majetků zabaveny. Ladislavova manželka Magdalena ze Salmu však prokázala, že značná část manželova jmění pocházela z jejího věna. Panovník jí tedy v roce 1595 navrátil kromě jiných panství také Felixburk s Egerberkem a Poláky. Sama ale na těchto spojených statcích dlouho nehospodařila. Již roku 1596 je od ní zakoupil Linhart Štampach ze Štampachu, pán na nedalekém Ahníkově. Dělením rodového majetku připadl Felixburk s Egerberkem mladšímu synovi Linharta, Matyášovi. Poláky získal další syn Jan Rejchart. Ten v mládí procestoval kus světa. Jako člen císařského poselství byl v Cařihradě přijat sultánem a v Moskvě moskevským veleknězem. Po návratu domů se oženil s Annou Kaplířovou ze Sulevic. Zemřel přibližně dva roky před vypuknutím stavovského povstání. Jeho syn Zdislav tehdy ještě nedosahoval zletilosti, a proto majetek spravoval Zdislavův strýc Matyáš. Protože se Štampachové zapojili do stavovského povstání, roku 1622 byly Matyáši mladšímu Štampachovi ze Štampachu statky Felixburk, Egerberk a Poláky ze dvou třetin opět zkonfiskovány. Ještě téhož roku je prodala česká komora Kryštofovi Šimonu z Thunu. Protože ale Zdislav Štampach ze Štampachu po delších jednáních prokázal, že se povstání nezúčastnil a zachoval jako evangelík věrnost císaři, byly mu Poláky se statkem v Libouši navráceny. Když Zdislav dospěl, opustil pro svou víru české království. Roku 1628 ještě před svým odchodem z vlasti prodal Poláky i s Dolany, Drahonicemi, Lomazicemi, Chotěnicemi a částí Hořence polnímu maršálovi Jindřichu Šlikovi z Holejče. Šlikova dcera, provdaná za hraběte z Friedberku a Trauburku, dostala Poláky věnem a správu majetku postoupila manželovi. Později se však s ním dlouho soudila, až sám císař roku 1662 poručil Ottovi z Friedberka, aby manželce ihned Poláky vrátil a všechny škody jí uhradil.

Během třicetileté války byl renesanční zámek pobořen a zůstal ležet v troskách. V průběhu dalších let se pak majitelé statku nadále často střídali, například Strojetičtí ze Strojetic, hrabě Gustav Adolf z Warmsbachu nebo hrabata z Questenberku. Roku 1740 byl od Poláků oddělen statek Libouš, který byl následně připojen k panství Ahníkov. 

V letech 1745 – 1815 Poláky vlastnila hrabata z Pergenu. Pravděpodobně někdy na konci 18. století nechali zříceniny tvrze zbourat a na jejich místě postavit nový pozdně barokní zámek. Při jeho stavbě však zřejmě využili části základů bývalé tvrze a do novostavby zakomponovali také stará sklepení původní budovy. Nový patrový dvoukřídlý zámek, stojící v nároží hospodářského dvora, byl postaven podle plánů žateckého stavitele Vavřince Rodta.

Hrabata z Pergenu se tedy nejvíce zapsala do současné podoby poláckého zámku. Pergenové pocházeli z Rakouska, kde od roku 1653 drželi panství Aspang. Jan Jindřich Kornelius z Pergenu byl roku 1663 povýšen do rytířského stavu a v roce 1675 se stal říšským svobodným pánem. Roku 1699 rodina získala hraběcí titul. Do českého království jako první přišel v roce 1689 Jindřich z Pergenu. Právě jeho potomek Leopold (+5. 6. 1749) zakoupil Poláky spolu s dalšími statky v okolí (někdy bývá jako rok zakoupení uváděn i 1738). V držení těchto statků následovala vdova Marie Johana (+8. 10. 1772) a v letech 1772 – 1811 Jan Antonín (pravděpodobný stavitel zámku), jehož syn Josef roku 1815 Poláky prodal.

Roku 1815 zakoupili polácké panství Windischgrätzové a roku 1868 dolonobeřkovičtí Lobkovicové. Josef kníže z Lobkovic získal se statkem také čtyři dvory a 428 ha převážně zemědělské půdy. Lobkovicové Poláky drželi až do první pozemkové reformy po vzniku ČSR.

V roce 1924 statek koupili manželé Rudolf a Anna Hrbáčkovi Hradčovští, kteří zámek v roce 1928 nechali přestavět v novobarokním stylu. Tehdy byla v sousedství zámku postavena také nová vila pro správce statku. Poměrně velkolepou novobarokní úpravu provedl stavitel Antonín Rimpl z Libědic. V té době patřilo k poláckému panství 705 ha půdy, z toho 450 ha polí a 255 ha lesů. K panství náležely statky Poláky, Hořenice, Dolany a Chotěnice.

Hradčovští byli starou svobodnickou rodinou usazenou na Slovácku, nedaleko od Uherského Hradiště. Připomínáni jsou již od 2. poloviny 13. století. Drželi různé zemanské a svobodnické statky a mlýny. Jejich erb také připomíná mlynářský znak, nad mlýnským kolem krokev a v klenotu tři pštrosí pera, vše v modrožlutém provedení.

Posledním soukromým majitelem statku před znárodněním byl Adolf Kollmann. Po roce 1948 zámek získal do držení místní státní statek. V interiérech byly umístěny kanceláře, byty zaměstnanců a později i archiv. Poněkud překvapivě se po celá desetiletí zachovala vnější i vnitřní výzdoba zámku, soubor kachlových kamen a dalších doplňků. To se však změnilo po roce 1990, kdy byl zámek navrácen do vlastnictví potomkům původního majitele. Ti jej pak nabídli k prodeji a během 30 let se ve vlastnictví objektu vystřídala řada právnických osob. Na zámku víceméně neprobíhala ani minimální údržba, celý areál byl kompletně vyrabován a postupně se dostal do havarijního stavu.

Nový majitel Miloš Dempír zahájil postupnou rekonstrukci zámeckého areálu v roce 2020. Postupně byly vyklizeny plochy nádvoří, zahrady a horní části parku od náletových porostů, hromad odpadů a suti. Byla obnovena bývalá vila správce velkostatku. Na vlastní zámecké budově byly obnoveny krovy i střechy, zajištěna statika, repasována nebo doplněna okna a obnovena polovina interiérů. Prostory prvního patra byly zařízeny podle dobových popisů jako ukázka života na bývalém venkovském šlechtickém sídle v době první republiky. Nový prohlídkový okruh byl otevřen veřejnosti v roce 2024. V létě roku 2025 se předpokládá zpřístupnění přízemních prostor s výstavou replik královských korunovačních klenotů.