Před rokem 1895 získal mlýn Karel Šimek. Koupil mu ho jeho otec, řezník Jan Šimek z Olešnice, od pravděpodobně předcházejícího majitele z rodu Martinovských.
Karel Šimek během svého života mlýn výrazně přestavěl. Vybudoval obytné místnosti, chlévy a celý mlýn vybavil novým zařízením. Provozoval tam jak mlýn, tak pilu a škrobárnu. Ve mlýně pracovali tovaryš, několik nádeníků a dvě služky, někdy prý až 20 lidí. Manželka Karla Josefa Šimková roz. Čuhelová pro všechny osoby včetně své široké rodiny vařila. I díky tomu byl mlýn úspěšný a proto se mu začalo říkat Šimkův mlýn.
V roce 1918 Karel nainstaloval v mlýně dynamo poháněné mlýnským kolem. Mlýn se tak údajně stal první stavbou v Olešnici, která měla elektřinu.
Mlýn po náhlé smrti obou rodičů zdědil v roce 1923 nejstarší syn, Emil Šimek. Bylo mu tehdy 22 let.
V prvních letech mu musela ještě pomáhat s provozem starší sestra Jindřiška Šimková. Když se Emil Šimek oženil s Marií Jurečkovou, převzala tuto roli Marie. Emil Šimek zemřel také mladý v roce 1939 a neměl ještě dospělého následníka. Zřejmě i proto byl v následujících letech provoz mlýna ukončen.
Tento popis vznikl na základě písemných vzpomínek dcery Karla Šimka a sestry Emila Šimka, Jarmily Dobiášové roz. Šimkové. Jarmila se v Šimkově mlýně narodila a prožila tam se svými rodiči a sourozenci celé své dětství. (Vaněček)
