V roce 1853 zde byl stále Franz Göbel, avšak z druhou manželkou Veronikou, rozenou Bürger, která byla dcerou mlynáře Josefa Bürgera z Konrádova čp. 4. Z manželství vzešly děti Josef, Maria, Antonia, Wilhelmina, Anna, Franz, Wenzel, Gustav a Wilhelm.
V roce 1879 je na mlýně další generace, a to Josef Göbel, Franzův syn z druhého manželství s Veronikou Bürger. Za manželku měl Rosinu rozenou Habel původem z obce Proseč (zaniklá obec na území Ralska). Na mlýně se jim postupně narodily děti Wilhelmine (5. 11. 1879 – 29. 6. 1943), Emil (17. 9. 1882 – 3. 4. 1883), Bertha (23. 5. 1885 – 6. 6. 1885). Po narození dcery Berthy Franzova manželka Rosina zemřela a vdovec se v únoru 1886 podruhé oženil. Vzal si Marii Theresii, vdovu po mlynáři Wenzelu Watzelovi ze mlýna v obci Janská 12. V říjnu 1886 se manželům zde na mlýně v Heřmanicích narodil syn Emil Franz (12. 10. 1886 – 3. 4. 1887 v obci Janská u české Kamenice). Manželé na zdejším mlýně zůstali do roku 1892, poté odešli na mlýn do obce Janská čp. 12, kde je následně Josef Göbel uváděn jako mlynář.
Na zdejší mlýn přišel nový rod, a to Elstnerové. V roce 1893 zde byl mlynářem Josef Elstner, který se přišel z Jablonného v Podještědí, kde se narodil na mlýně čp. 269 jako syn mlynáře Josefa Elstnera a Marie, rozené Giebe z Hrádku nad Nisou. Za manželku si vzal Annu Selmu, rozenou Fischer, z České Lípy. Elstnerým se zde postupně narodily děti Josef, Alfred Franz, Marie Rosa, Anna a Heinrich.