Až do roku 1737 byla majitelem mlýna dubská vrchnost.
V roce 1626 hospodařil na mlýně Ondřej Richter. K tomuto roku se váže zápis v Trhové knize města z let 1606-1676, dle kterého Ondřej Richter „mlynář ve mlejně ve městě“ koupil dům na náměstí (dnešní čp. 27) od Mikuláše Blahy za 360 kop. Mlynářský rok Richterů odtud později odchází do mlýna v Modlilbohově – Ondřejův syn Kryštof Richter si vzal na manželku Annu, dceru Václava Bulíře z Modlibohova, a s ní později ve mlýně v Modlibohově hospodařil.
V roce 1656 je ve zdejším mlýně uváděn jako mlynář Ondřej Hansl.
Na přelomu 17. a 18. století je zde zmiňován Johann Jäger. Ve mlýně se mu 20. dubna 1698 narodila dcera Anna Judita a 22. srpna 1700 syn Johann.
Mlynáře Jägera vystřídal nejpozději v roce 1704 Johannes Christopf Thanns s manželkou Apolonií. Existuje zápis o narození jeho dcery Marie ve zdejším mlýně, a to 17. května 1704. 13. května 1705 se zde manželům narodil syn Carl Joseph.
V 1. polovině 18. století vlastnil českodubské panství klášter sv. Jakuba ve Vídni. Mlýny mu patrně nepřinášely žádaný užitek, proto se rozhodl je prodat soukromým majitelům. V roce 1737 se novým majitele horního mlýna o dvojím složení stal Hans Wenzl Schwartz, zaplatil za něj 1000 kop. Smlouva byla podepsána 15. července 1737. Po jeho smrti hospodařil na mlýně od roku 1753 jeho bratr Ferdinand Schwartz. V roec 1772 přešel mlýn na Antonína Schwartze. Jeho dědicové prodali mlýn v roce 1806 Františku Kretšmarovi za 1 950 zlatých.
Pravděpodobně v roce 1816 se majitelem stal František Ruta za 6 000 zlatých. Do Českého Dubu přišel z velkého mlýna na Jizeře u Vince za Mladou Boleslaví. S manželkou Marií měl dceru Elisabetu. František Ruta brzy zemřel a ovdovělá Marie se brzy znovu provdala, a to za mlynářského společníka Jana Rutu z Huti na panství Malá Skála.
V roce 1829 koupila mlýn Barbora Rutová za 6 000 zlatých. Ještě ten rok změnil mlýn znovu majitele a přešel na Jana Rutu, syna Václava Ruty z Bakova čp. 5, který zde pak hospodařil s manželkou Annou Marií do roku 1840. Narodilo se jim zde několik dětí.
V roce 1840 se majitelem mlýna stal František Cee. V té době měl mlýn 3 vodní kola (dle nákresu ve stabilním katastru z roku 1843). Po smrti Františka Cee pravděpodobně v roce 1847 je v tomto roce uváděn jako nájemce Wenzel Kirschner, držitelkou byla vdova po zemřelém mlynáři Dorota Cee.