K roku 1851 je v matrice zaznamenán nový majitel mlýna. Byl jím mlynářský mistr Franz Pusch s manželkou Rosinou, rozenou Müller, dcerou tesařského mistra z obce Lipová. Jako mlynářský pár na mlýně čp. 523 jsou uváděni v zápise o narození syna Johanna Reimunda 25. 6. 1851.
Mlýn převzal Josef Hubert Pusch, syn předchozího. Jako majitel mlýna je zapsánu v matričním zápise o narození dcery Marie Heleny ke dni 17. 12. 1865 společně s manželkou Helenou, rozenou Michel, dcerou kovářského mistra z Mikulášovic.
Již v březnu 1867 zde byl zaznamenán nájemce Karl Reinisch s manželkou Franziskou, u kterého byla uvedena soukenická živnost. Zde byl patrně počátek přeměny mlýna na textilní provoz.
V roce 1872 byl majitelem domu továrník Josef Pietschmann, syn stejnojmenného továrníka z Mikulášovic, s manželkou Marií Albinou, rozenou Menzel, dcerou obchodníka z Mikulášovic. Josef Pietschmann provozoval v bývalé budově mlýna tkalcovnu specializovanou na výrobu stuh. Syn Josef, narozený v říjnu 1872, se v roce 1906 oženil s Marií Theresií Rodemann a převzal později po otci tkalcovnu.
V roce 1908 byl majitelem tkalcovny čp. 523 Josef Pietschmann, spolumajitelem byl Josef Endler, který vykonával profesi účetního.