V r. 1853 je uveden jako majitel mlýna František Freiwald /koupil mlýn za 8000 zlatých/. Ten mlýn přestavěl v r.1858 na továrnu, přádelnu lnu, od té doby se mlýn nazývá Fabrický.
Brzy jej prodává Emanueli Boretzkému /důvodem byl pravděpodobně nedostatek vody pro pohon strojů/, teb jej přestavěl na parní pohon a vystavěl kotelnu a komín.
V r. 1860 jej Boretzký opět prodává synům bývalého mlynáře a stavitele fabriky Františka Freiwalda Vilémovi, Bernardovi a Františkovi.
12.5. 1866 večer v 7 hodin vypukl v továrně oheň a ta až do základů vyhořela.
Spáleniště mlýna získal Rösler z Vídně. a prodal ho r. 1872 za 2 600 zlatých rakouské měny mlynářskému mistru Franzovi Herzogovi z Heřmánkovic u Broumova /nar. 1837/ a jeho manželce Markétě, dceři mlynáře Erbera z Heřmánkovic. Herzog tu opět zřídil mlýn vodní silou hnaný, mlýnské stroje zařídil podle nejnovější soustavy. Mlynář Herzog jako první v Polici zavedl r. 1891 ve svém mlýně elektrické osvětlení, napájené dynamem, poháněné zřejmě vodním kolem. Mlýn v této době prosperoval velmi dobře. R. 1898 převzal mlýn jeho syn František Herzog, mlynář a vysloužilý četník.
R. 1909 Herzog prodal mlýn Karlu Kosteleckému, hoteliérovi z Josefova a ten jej r. 1912 předal svému synovi Rudolfu Kosteleckému /*22. 7. 1871 - 1. 4. 1923/.