Již roku 1722 se uvádí v Rožanech Zacharias Pflaume (*1698) zprvu jako Möller in Rosenhan později Gräntz Möller zu Rosenhain (hraniční mlynář (přináležející) k Rožanům) syn Tobiase a Evy Pflaume mlynářů z Fugau - tedy vedlejší Fukov, se svojí první ženou jenž byla Anna Elisabeth dcera sedláka Henricha Protze z Kaÿserwaldu (obec západně od Šluknova). Poté co ovdověl si vzal roku 1732 Annu Marii dceru Zachariase Kuntze zahradníka alda - tedy taktéž z Rožan jenž figuruje v soupise poddaných z roku 1741. (Kubale)
V soupise poddaných z roku 1741 byl v Granitz Mühle zapsán mlynář Zacharias Pflaume (věk 42) s manželkou Annou Marií (32) a 6 dětmi Annou Elisabeth (18), Josephem (16), Antonem (14), Marií Elisabeth (6), Zachariasem (4) a Hannsem Franzem (1).
V roce 1760 bylo v obci Rožany evidováno 6 mlýnů. Rožanští mlynáři platili ročně v panských rentách: Horní mlýn 201 florinů, mlýn Loch 64 fl. 30 krejcarů, dolní mlýn 69 fl. 22 kr. 3 feniky, prostřední mlýn 204 fl. 30 kr., Teuchtmühle 100 fl. 15 kr. a Granitz-mühle 121 fl. 30 kr. Granitz Mühle tehdy držel mlynář Anton Fabich (37) a manželkou Catharinou (29), dcerou Apollonií (4) a synem Antonem (1). V dalším desetiletí se na mlýně ještě narodili synové Anton, Franz a dcera Helena. V roce 1771 mlynářka zemřela, Anton se v únoru 1772 podruhé oženil. Jeho druhou manželkou se stala Maria Anna Miller, dcera tkalce z Jiříkova, která mu porodila dceru Marii Johannu.
Anton Fabich zemřel v roce 1790 ve věku 67 roků a mlýn převzal syn Franz. Ten se ženil celkem třikrát. První manželka Theresia zemřela po dvou letech manželství v roce 1787, pravděpodobně v souvislosti s narozením syna Franze (březen 1787), dítě rovněž zemřelo již v dubnu 1787. Druhou Franzovou manželkou se stala Apollonia Pietschmann, která mlynáři porodila syna Johanna Franze (1788) a dceru Apollonii (1789). Po smrti druhé manželky v březnu 1790 se Franz Fabich oženil potřetí, a to v červenci 1790 s dvacetiletou Theresií Rudolph z obce Království. Z třetího manželství vzešlo celkem 12 dětí, 7 synů a 5 dcer, většina z nich však zemřela v dětském věku.
Franz Fabich zemřel v červnu 1821, mlýn zdědil syn z třetího manželství Florian, narozený v listopadu 1796. Ten se v únoru 1821 oženil s Theresií Müldner (psáno také Mildner), dcerou mlynáře v Rožanech č. 84. Do smrti mlynářky v dubnu 1834 se páru narodilo 7 dětí: Maria Theresia (1822), Franziska (1824), Johann Florian (1826), Helena (1828), Johannes (1830-1831), Anton (1832-1833) a Josef (1834). Mlynář Florian Fabich se již podruhé neoženil a zemřel o rok později, v červenci 1835 ve věku 39 roků na souchotiny. Všechny děti byli v době úmrtí otce nezletilé, nejstaršímu synovi Johannu Floriánovi bylo teprve 9 roků.
V následujících asi 15 letech provozovali mlýn nájemci. Nejdřív to od roku 1836 Johann Lauermann s manželkou Barbarou Rösler. V roce 1845 ho vystřídal Nikolaus Hauptmann s manželkou Helenou Laske.