Hartmanovi měli syna Františka, dceru Annu, provdanou Myškovou (hostinská ve Svratouchu), druhého syna Ignáce (žil v Telecím), Josefa, který zemřel na vojně, dále dceru Boženu (provd. Jadrnou) a Terezii, která se narodila r. 1845. Tato Terezie si později vzala Ferdinanda Suchého z Cikánky a stala se matkou Stanislavy Suché, mé babičky a manželky dědečka Vincence.
František převzal po otcově smrti mlýn. Byl svobodný a dokázal během několika let přijít na mizinu. "Při mlýně měl dosti polí a luk, dobytek ve chlévě, zásoby píce a obilí, vozy a ostatní hospodářské nářadí. A přece v krátkém čase bylo vše pryč; rád si zavdal a bylo mnoho příživníků, kteří ho o vše okrádali, až se dostal do veřejné dražby."
Mlýn koupil J. Miška, rolník z Dědové, příbuzný Hartmanů. Rozprodal téměř veškeré pozemky - pole, louky i zahrady - a holý mlýn pronajal a později prodal Vincenci Kysilkovi. Kupní cena byla 1910 zlatých. Hotově bylo zaplaceno 410 zlatých, získaných z prodeje chalupy v Jarošově. Zbytek 1500 zl. spláceli Kysilkovi na 5% úrok až do tohoto století.
Ve stejné době se vdala nejstarší dcera Marie (7. 5. 1889). Vzala si svrateckého pekaře Františka Jadrného a nastěhovali se do domku čp. 52, který rodiče přepustili mladým manželům. Roku 1890 se Jadrným narodila dcera Marie. Vedlo se jim dobře, obchod vzkvétal, ale dlouho spolu nežili. O vánocích 1890 se Jadrný roznemohl, dostal chrlení krve a okolo 20. ledna 1891 zemřel.
To byla nemocná také mlynářka Marie Kysilková. Dědeček vzpomíná: "Moje maminka byla již tehdy značně nemocná, že ani na zeťův pohřeb jíti nemohla. Pamatuji se, jak stojíc u okna, usedavě plakala, když šel pohřeb mimo." Za čtyři měsíce v květnu 1891 potom sama zemřela.
Před koncem roku 1891 se mlynář Vincenc Kysilka ve věku 55 let znovu oženil. Namlouvali mu mladé. "Ponocný Chmelíček vychválil tatínkovi vdovu Burešovou. Bylo jí - výměnici - asi 60 let. Radil: Mladou si žádnou neber, byly by z toho ještě děti. Tato je rozumná ženská. Takovou jsme ji i znali. Chodívala k nám mlít, a když maminka stonala, přimlouvala se, aby tatínek mletí Burešové neodkládal (bylo málo vody). Netušila, že to bude její nástupkyně. Jmenovala se za svobodna Kirchnerová a pocházela z Mor. Křižánek."
Vincenc Kysilka va mlýně dlouho nehospodařil. Vroce 1891 mu umřela první žena a on sám zemřel čtyři roky po ní v roce 1895. Poté mlýn převzal jeho syn Čeněk Kysilka. Mlýn nebyl v dobrém stavu a Čeněk jej začal opravovat. Střechy, kterými zatékalo pobil částečně šindelem, z části plechem a z části lepenkou. Bylo zapotřebí nové vodní kolo a moučnice do mlýnice. Vroce 1899 si Čeněk Kysilka bere za ženu Stanislavu Suchou z České Cikánky / část Svratky/, vnučku Ignáce a Anny Hartmanových a tak se potomci rodu Hartmanů opět vrátili na dolní mlýn ve Svratce.