Panský mlýn je zmiňován již v inventáři panství Smiřických z roku 1611. Mlýn zůstával ve vlastnictví majitel hořického panství až do roku 1748, kdy byl prodán za 1500 zlatých Josefu Rykrovi z Hořic. Nový majitel se v kupní smlouvě mimo jiné zavázal semlít určité množství obilí pro vrchnostenské úředníky a dvorskou čeleď. Od nejstarších dob byli k tomuto mlýnu přiděleni „mleči“ – hořičtí pekaři a obyvatelé vsí Doubrava, Dobeš a Chvalina, kteří měli být obslouženi „spravedlivě a bez šizuňku“. Nový mlynář se dále zavázal, že nebude kupovat a mlít kradené obilí, nebude chránit zloděje ani přechovávat bludné kacíře.
V následujících letech mlýn často měnil majitele, ale vždy pouze se souhlasem vrchnosti. V polovině 19.století náležel mlýn Leopoldu Duškovi, který nechal vlastním nákladem vystavět silnici ke křižovatce u budoucí restaurace Doubravka (N 50 22.070 E 015 38.860). Mlýn byl v té době přízemní a patřila k němu i pila využívající vodní síly. Následujícím majitelem se stal známý hořický podnikatel Václav Tomášek, který mlýn zvelebil, přistavěl první patro a provoz vybavil parním strojem, který nahradil vodní sílu v obdobích sucha. Nástupci pana Tomáška Janu Vintrovi se příliš nedařilo a po jeho smrti v roce 1900 mlýn prodala mlynářova vdova v dobrovolné dražbě.
Objekt koupil pro svého syna Antonína mlynář Knap z Bělé u Pecky. Za nového majitele nastal opět rozkvět Panského mlýna. Antonín Knap nejprve zrušil „pilu-jednušku“ a nahradil ji katrem, na němž řezal nejen pro svou potřebu, ale i pro hořické sousedy a zařídil si obchod s řezivem. Mlynář Knap zavedl vlastní elektrické osvětlení, zrušil vodní kolo a instaloval turbínu. Mlýn měl stále dost mletí i díky parnímu stroji, takže nebyl závislý na rozmarech počasí. Od r. 1921 si Antonín Knap zařídil obchodní mletí a nakupoval obilí na burze. Po smrti mlynáře v roce 1940 vedla mlýn celých sedm let nejmladší z jeho dcer Milka. Po sňatku v roce 1947 společně s manželem Karlem Bálkem, který byl posledním mlynářem kdysi prosperujícího mlýna.
Po znárodnění se na mlýnských strojích ještě nějaký čas šrotovalo obilí pro potřeby školního statku, následně byl objekt využíván jako skladiště.
