Mlýn pod Prostředním rybníkem v Olešnici patřil do vlastnictví rýzmburského panství. Jména mlynářů, poddaných, kteří měli mlýn v pronájmu, nejsou proto dlouho ani v urbářích uváděna. Až Olešnický urbář z r. 1738 stanovuje jejich povinnosti.
Z toho se dovídáme, že v r. 1734 měla rybník pronajatý obec Olešnice. Olešnický rychtář Josef Šafránek byl vzdělaný a schopný dobře vést svěřený panský mlýn.
1736 dle urbáře mlynář povinen odvádět každý rok 28 korců výmelného a na sv. Havla platit 1 zl.
Po Josefu Šafránkovi panský mlýn převzal jeho syn Antonín Šafránek, nar. r. 1741, zemřel 31.1.1821 ve věku 80 let.
Pak mlýn převzal Antonínův syn z 1. manželství František Šafránek, narozený r. 1784.
Další mlynáři se pak rychle střídali:
1819 Dorota a Antonín Šrůtkovi
Od r. 1824 Marie a Ignác Regnerovi
Od r.1830 Josef Prchal
1840 provozoval mlýn Filip Vejdluh.
Velká povodeň ve večerních hodinách 19.6.1843 způsobila na mlýně velké škody. To byl pravděpodobně důvod odchodu mlynáře Vejdluha z mlýna.
V r.1844 je pak na mlýně uváděn mlynář Fratišek Crha /nebo Brha/.
1845 už mlynář Antonín Hloušek se svojí ženou Barborou.