Ve mlýně prý žily dvě svobodné sestry - čarodějnice, které ke svému čarování používaly lidskou lebku, kterou před svou smrtí zazdily.
V 19. stol. odcházel mlynářův bratr do světa na vandr na zkušenou, u dveří šťouchl holí do zdi, kámen se vyvalil a objevila se lebka. Po poradě lebku zakopali na pastvišti u lesa, koně se tam pak odmítali pást.
Ve mlýně ale prý řádila i jiná strašidla.
Mlýn v Bláhově Lhotě měl totiž také svého vodníka. Jmenoval se Matěj a našel si místo na dně potoka hned za mlýnským kolem. S mlynářem byli velcí přátelé. Aby ne, vždyť kdykoliv pekl hastrmanovy oblíbené lívance, přišel k mlýnskému kolu a kamarádsky volal: „Matěji, Matěji, nesu lívance pro tebe i celou tvou rodinu, abys nám kolo nezastavoval ... “ Matěj vyskočil z vody, div mlynáře neporazil, popadl ošatku s lívanci, tiše špitl „díky“ a hned zase zmizel ve svém vodním království.
S mlynářem i chasou byl Matěj jedna ruka. Nikterak si nepřekáželi, ani si nedělali naschvály. Zato kluci ze vsi mu nedali na chvilku pokoj. Kampak na ně s hastrmanskou povídačkou o dušičkách na dně tůňky ... Nevěřili tomu a házeli do vody kameny, šťouchali do ní klacky a vytrvale pokřikovali. Matěj pod vodou zuřil, ale nemohl nic dělat. Bál se, že mu ublíží. Až jednou se dopálil a stáhl jednoho posměváčka pod vodu. Nebýt mlynáře, který se za hocha přimluvil, byl by ho zajisté utopil.
Ani tato výstraha lhotecké raubíře nezastavila, naopak pobudila sousedy ze vsi. V noci, když mlynář spal, se místní lidé připlížili k mlýnskému kolu, vypustili
stavidla a Matěje šupem vyhnali. Měl tak naspěch, že tu nechal i své děti, leklé na dně bahnité tůňky.
Tenkrát za blýskavé noci slíbil vodník svatosvatě, že se pomstí. Nastěhoval se do rybníka Trubáčku u Vysokého Chlumce a slíbil: „Kdokoli z Bláhovy Lhoty mi vleze do revíru, toho na mou duši utopim!“ A svůj slib splnil, za ta léta už do svých hrníčků nastřádal několik dušiček ...
