Dle soupisu poddaných pro obec Vilémov v roce 1752 držel mlýn mlynář Johann Jacob Rössler (věk 32), s ním zde byla jeho druhá manželka Anna Maria (37), vdova po zdejším zemřelém mlynáři Zimmerovi. Rössler sem přišel se svými dvěma dcerami z prvního manželství, Marií Elisabeth (9) a Marií Annou (7), na mlýně žily děti mlynářky z prvního manželství se zemřelým mlynářem Zimmerem, příští mlynář Hanns Lorentz (13) a Maria Anna (8) a společné děti Rösslerových Appolonia (2) a Johann Jacob (1), ke kterým do roku 1760 ještě přibyly tři dcery Anna Maria, Maria Theresia a Agnes.
V roce 1762 byl syn mlynářky Hanns Lorentz (věk 23, dále nazývaný Johann Lorentz) ženat s Marií Elisabeth (19), rozenou Bernard, původem z Lobendavy. Na mlýně stále ještě hospodařil jeho otčím Johann Jacob Rössler.
Jako samostatně hospodařící mlynář je Johann Lorentz Zimmer uváděn v roce 1774 společně s manželkou a dětmi Lorentzem (11), Johannem Josephem (9), Johannem Frantzem (6), Magdalenou (4) a v tomto roce narozenou Marií Theresií.
V roce 1788 zde byla Maria Elisabeth jako vdova se 7 potomky. Již dospělý syn Lorenz se vyučil pekařem, mlynářského řemeslu se vyučil druhorozený Johann Joseph a již také na mlýně jako mlynář pracoval, mlýn však držela a vedla vdova Maria Elisabeth. Ještě v roce 1799 byla situace podobná, v následujícím roce se mladý mlynář Johann Josef Zimmer (dále používal pouze jméno Joseph Zimmer) oženil s Marií Theresií Pilz, dcerou pekařského mistra z Mikulášovic. Manželům se postupně na mlýně narodili synové Joseph, Johann Franz a Franz a dcery Maria Theresia, Maria Brigitta, Theresia a Brigitta.Mlynář žemřel před rokem 1848, v lednu 1848 je Maria Theresia uváděna již jako vdova na mlýně společně se synem mlynářem (narozen v dubnu 1805) a jeho manželkou Annou (narozena v listopadu 1819), rozenou Heine, dcerou pekařského mistra z Vilémova čp. 61.