Za třicetileté války v roce 1634 Svédové Chlumec zapálili. Tehdy utrpěl újmy také chlumecký Panský mlýn, byla zcela zničena i pila u něj. Mlynář Daniel Mořinský odsud odešel na mlýn v Mlékosrbech.
V roce 1752 prodala chlumecká vrchnost Panský mlýn do dědičného užívání dosavadnímu kladrubskému mlynáři Janu Šourkovi a jeho potomkům za 2 500 zl. Mlynář se však musel zavázat, že "povede bohabojný život, ku kterému povede i svoji čeládku, a že bude mlíti obilí a slad pro panský pivovar". Tehdy byly k Panskému mlýnu na mletí přiděleny obce Skochovice, Žantov, Nepolisy, panský dvůr a špitál v Chlumci nad Cidlinou.
K povinnostem mlynáře patřilo opravovat si mlýnské zařízení a udržovat mlýn v dobrém stavu. Na opravu mlýna mu vrchnost poskytovala dubové dřevo na vodní kola, hřídele a stavidla. Rovněž mu přidě lovala palivo, které si však musel připravit sám nebo s čeládkou. Dostával i borové dřevo na louče. Byl ovšem povinen z vodního díla vrchnosti
platit ročně 165 zl., kromě určeného odvodu semletého obilí.
Po smrti mlynáře Jana Šourka si vdova Šourková netroufala mlýn sama vést a postoupila jej Janu Štočkovi. Roku 1768 Štoček prodal Panský mlýn Matěji Křížovi. Po něm se stal vlastníkem mlýna Jan Mališ z opočenského panství. Mlynář Mališ v roce 1781 postavil u mlýna pilu, když předtím vrchnost požádalo souhlas. Svolení dostal, ale za podmínky, že na pile každoročně rozřeže vrchnosti zdarma dvacet klád na prkna.
Po smrti mlynáře Jana Mališe se vdova Kateřina Mališová roku 1802 provdala za Karla Šuberta, mlynáře z Veletova.
Od roku 1808 vlastnil Panský mlýn Václav Kieker, kolínský měšťan, který tehdy za mlýn zaplatil 46 000 zl. Od něho mlýn koupil v roce 1809 Václav Hála.
Mlynář Hála zemřel roku 1820; v závěti si přál, aby mlýn zůstal nadále v rodě Hálů, a učinil pro to i určitá finanční opatření. Z té doby pochází mimo jiné malovaný obraz svatého Václava, umístěný ve štítě mlýna. V roce 1824 převzal mlýn syn Václava Hály Matěj, který si vzal za manželku Annu, dceru smidarského mlynáře na Medříči. Mlynařil tu však krátce, zemřel mlád v 35 letech. V závěti určil nástupcem na mlýně svého bratra Vilíma, kterému tehdy ale nebyly ani tři roky. Pozůstalá vdova vedla tedy mlýn až do jeho dospělosti. Po zrušení roboty v roce 1848 se i chlumecká mlynářka vykoupila z poddanských povinností částkou 3 801 zl.