Kolem poloviny 19. století se na mlýně vystřídalo několik mlynářů rychle za sebou. V roce 1849 byl na mlýně čp. 31 mlynářský pár Bernard Sprenger, původem z rodiny místního pekaře, a Maria, rozená Neumann, dcera kováře z obce Kunratice. V září 1849 se jim zde narodila dcera Maria Anna .Po nich sem v průběhu roku 1850 přišel Philipp Nitsche, syn rolníka z Krásného Lesa u Frýdlantu, s manželkou Magdalenou, rozenou John, původem z Chrastavy. Lednu 1851 zde přivítali narození dcery Anny a v srpnu 1852 syna Hosefa.
Již v roce 1855 zde hospodařil další mlynářský pár: Josef Laurich, syn mlynáře Augustina Lauricha z Jablonce n. N., a jeho manželka Helena, rozená Friedrich, dcera hostinského z obce Lučany n.N. Helena Laurich zemřela v roce 1861, v následujícím roce se mlynář znovu oženil, jeho druhou manželkou se stala Eleonora Mitlehner z Desné. Z manželtsví s Helenou se na žďárském mlýně narodilo 5 dětí Albertina Maria (1855), Laura Anna (1856), Gustav Theodor (1858), Antonia Emilia (1859) a Bertha (1861), z manželství s Eleonorou syn Anton Adolf (1862).
Dalším zdejším mlynářem byl Wenzel Wazlawik st., který sem přišel s manželkou Margarethou Preissler, původem z Příchovic. V 70. letech mlýn převzal jeho syn Wenzel Wazlawik ml. Ten je jako mlynář v čp. 31 uváděn v matričním zápise o svém sňatku s Franziskou Simm, dcerou pekařského mistra z Albrechtic v J. h. v roce 1876. Wázlawikovi zde byli do konce 80. let, za tu dobu matriky zaznamenaly narození jejich 5 dětí, vesměs dcer: Hermine (1878), Anna (1880), Bertha (1882), Anna Emma (1883) a Emma (1885). Posledním zápisem o rodu Wazlawikových na tomto mlýně je záznam o úmrtí vysloužilého mlynáře Wenzela Wazlawika st. v březnu 1887 ve věku 78 roků.
Na přelomu 19. a 20. století byl majitelem mlýna Franz Zimmer, syn pekařského mistra z obce Vesec na Liberecku (dnes součást Liberce). V srpnu 1904 se v Šumburku oženil s Marií Steinert, dcerou brusiče skla z obce Žďár. V říjnu 1905 se jim narodilo první dítě, dcera Maria. Za Franze Zimmera byla u mlýna pekárna. Byl posledním mlynářem na tomto mlýně.