V soupise poddaných z roku 1750 je na Horním mlýne uváděn ovdovělý mlynář Mathias Hülle (stár 64 roků), jeho syn Johann (Hannss) Christian Hülle (27) s manželkou Marií Annou, rozenou Müller (26) a jejich synem Jakobem.
V roce 1771 dostal mlýn čp. 16. V té době zde již hospodařil syn předchozího Johann Christian Hülle. Nejstarší syn Jakob se učil mlynářem. Zapsány zde byli další 3 synové páru Joseph (toho času na učení v Chřibské), Anton a Laurentius. Do rodiny přibyly ještě 2 dcery Maria Thecla (1775) a Veronika (1778).
Koncem 80. let zde Hüllovi již nebyli, mlýn provozoval Franz Hentschel s manželkou Elisabeth. Hentschelovi zůstali asi bezdětní, na mlýn přišel Anton Fischer, původem z Lipové. Poprvé ho zde zmiňuje soupis poddaných v roce 1828 s tím, že bydlí v Lipové. Na mlýně žili na výměnku starý mlynář Franz Hentschel, kterému bylo již 72 roků, a jeho manželka Ellisabeth (68 roků). Během roku 1828 sem za Antonem Fischerem přišla i jeho manželka Veronika, rozená Franz, se 4 dětmi. Dcera Veronika se Fischerovým narodila v prosinci 1828 již na tomto mlýně.
Podle pozemkové knihy z roku 1832 byl Fischerovi již držiteli mlýna. Bývalý mlynář Franz Hetschel již nežil, vdova Elisabeth stále bydlela s Fischerovými na mlýně.
Mlynář Anton Fischer zemřel v červenci 1839 ve věku 56 roků. Podle soupisu poddaných z roku 1839 zde byla vdova Veronika se 6 dětmi Antonem (1816), Johannesem (1824), Josefem (1831), Franzem (1836), Marií Annou (1819) a Karolinou (1821). Nejstarší syn Anton pracoval jako mlynář.
Anton Fischer ml. se oženil nejprve s Marií Annou Liebisch, dcerou obchodníka z Velkého Šenova, po její smrti s Agnes Petters, dcerou statkáře z Vilémova.