Roku 1635 Jiřímu Martiškovi, který jej vlastnil až do roku 1655. Z technického vybavení mlýna můžeme z pramenů vyčíst, že měl pět složení, ale v letech 1620–1699 byl jejich počet postupně zvyšován až na osm. Za třicetileté války nebyl Kamenný mlýn zničen, protože ležel uvnitř hradeb. Mlýn ale trpěl nedostatkem vody, kterou císařští při obléhání města odvedli z mlýnského náhonu, aby se ve městě nemohlo mlít.
O mlýn se staral i velitel pevnosti
Zajímavý zápis nacházíme v pramenech z roku 1655, kdy abatyše kláštera sv. Kláry žádala městskou radu, aby ještě Jiřímu Martínkovi, mlynáři z Kamenného mlýna, povolila postavit nový mlýn na Lazcích… Této žádosti z pochopitelných konkurenčních důvodů město nevyhovělo. K velké opravě mlýna, který byl po válečných útrapách třicetileté války značně zchátralý, došlo v roce 1655. Po této opravě měl šest mlýnských složení, z toho čtyři na mouku a po jednom na krupici a na proso. V roce 1696 bylo strojové zařízení rozšířeno o sedm složení. Z dalších uživatelů můžeme zmínit v letech 1675–1679 mlynáře Michala Safrana a v roce 1679 Kristiana Grosse, do roku 1687 zde byl mlynářem opět Michal Safran. V letech 1688 až 1693 zde hospodařil Jan Václav Gartner, který v uvedeném roce také mlýn opravil. Roku 1693 získal mlýn Vilém Tassel a držel ho do roku 1703. Jeho nástupcem se stal v letech 1704–1725 Kristian Axman. V roce 1726 byl mlýn dán do užívání manželům Janu a Marii Janotikovým, kteří jej spravovali až do poloviny 18. století.
Od roku 1729 bylo mlynáři povoleno mlít ve mlýně pivní slad. Příjmy z mlýna, který byl největší ze všech podobných olomouckých zařízení, činily v roce 1710 kolem 800 zlatých, v roce 1730 už 1300 zlatých. K tomuto datu měl mlýn v přední budově sedm složení, na druhé straně náhonu dvě složení pravděpodobně pro provoz olomouckých kašen.
Přestože byl mlýn roku 1745 řádně obnoven, nebyl od roku 1750 v provozu, čímž vznikala na jeho zařízení značná škoda. Tuto skutečnost kritizoval v roce 1753 radní Rosenberg, když žádal o uhrazení této škody. Nově opravený mlýn však svému účelu dlouho nesloužil a za pruského obležení města roku 1758 vyhořel. K jeho obnovení byla založena městská komise, která pracovala již od roku 1759, a to za účasti velitele pevnosti Olomouc, generála Rochepina. Ten měl značné požadavky na znovuobnovení budovy mlýna a jeho vybavení. Žádal mimo jiné, aby byl mlýn vystavěn zděný a aby každé ze šesti složení bylo umístěno ve zvláštní místnosti. Dále požadoval, aby se zde pamatovalo na zřízení několika sýpek a například zděný práh.
Mlynář musel být vstřícný
Dne 16. února 1760 pak přenechalo město zbytky mlýna Janu Jiřímu Friementovi a to s podmínkou, že vystaví nový mlýn v hodnotě 4000 zlatých a po jeho uvedení do chodu bude platit nájem ve výši 1000 zlatých ročně. Mlýn byl skutečně vystavěn již na druhé straně mlýnského náhonu se šesti složeními a v roce 1763 ho převzal Friemelův syn Augustin. Měl jej v nájmu deset let, protože dalšího nájemce máme doloženého až v roce 1777. Stal se jím Jan Lindtner z Dolan, který mlýn v roce 1790 předal za nemalý finanční obnos Viktoru Lachníkovi. Po jeho smrti, roku 1800, převzala mlýn Lachníkova manželka Anna, která ho roku 1801 odstoupila své dceři Kateřině a jejímu muži Engelbertu Pulkertovi, jenž zde roku 1802 zřídil sedmé, takzvané prosné složení. Kateřina, dcera Jana Friemla, vdova po mlynáři Trautmannovi, sice mlýn odstoupila svému muži Engelbertu Pulkertovi v roce 1802, ale po jeho smrti roku 1811 mlýn připadl zpět na ni. V roce 1812 ho propachtovala na rok Martinu Sedláčkovi a konečně 12. listopadu 1826 jej přenechala i se šesti složeními svému synovi Augustinu Pulkertovi za 25000 zlatých a činži 1000 zlatých. Augustin mlýn již 5. července 1827 přenechal za stejných podmínek svému bratru Engelbertu Pulkertovi, který byl majitelem mlýna ještě v roce 1841, kdy platil za šest složení 1000 zlatých nájmu. Víme, že se musel při své práci řídit protokolem z roku 1759, který se týkal udržování mlýna, čištění mlýnského náhonu a jiných, s provozem mlýna souvisejících věcí.
V roce 1841 si město ještě navíc vyhradilo od mlynáře podporu olomouckému obyvatelstvu, což v praxi znamenalo vycházet vstříc městským pekařům a měšťanskému pivovaru ve šrotování sladu.