Konšelský mlýn, nazývaný též špitálský či šosovní spravovali mlynáři z rodu Podhajských. Roku 1624 Jiřík Podhajský a roku 1674 Řehoř Podhajský. Po Řehořovi roku 1679 hospodařila na mlýně vdova Dorota spolu se synem, v roce 1685 Jan Svoboda a roku 1687 Jan Semanský. Roku 1733 prodala a postoupila obec litomyšlská konšelský mlýn s loukou Jiřímu Hnátkovi za 700 kop rýnských. K povinnostem mlynáře patřilo na sv. Havla a Jiří „…pololetně pro chudé špitálníky a niekam při obci sloužící žita čistého 32strychů 2 wěrtele a 1 korec rozdá vlastním nákladem a každému špitálníkovi týhodně jeden bochník po jedný čtvrtci, který 11… vážiti má, vydati povinen bude…“. K tomu má pololetně platit 61 kr 42 dr při sv. Jiří a Sv. Havle, z louky neb zahrady po 5 kr 50 dr. „Neméně taky při nadepsaných terminech neb aučtech mlynářských dle starobylého obyčeje na autraty 1 zl 10 kr. Ittem jednou v roce dvě prasata na špek, které jemu z důchodu obecního koupené a dané budou.
Jiřík Hnátko odkázal v roce 1747 „…mlejn s rolí ležící u Lipovejch hatí…“ své ženě Anně a dětem za 1800 zlatých. Mlynář stanovuje ve své závěti cenu mlýna pro případ, že by se mlýn prodával cizí osobě: „Kdyby se mlýn cizímu prodal, tak je hodnota mlýna nejméně 1200 zlatých a role za 1000 zlatých.“213 I v případě prodeje žádal nového mlynáře, aby jeho dva nejmladší synové směli zůstat na mlýně až do doby, kdy by se sami uživili nějakým řemeslem. Pokud by vdova nechtěla hospodařit nebo by se vdala, měl se dědicem a mlynářem stát syn Johanes, pokud se bude dobře chovat.Žádného vážnějšího přestupku proti své dobré pověsti se Jan patrně nedopustil, protože se v následujících letech skutečně stal konšelským mlynářem. Dalším mlynářem na tomto mlýně byl od roku 1763 jeho mladší bratr Martin Hnátko.
Při cezení řek se měl konšelský mlynář vždy dohodnout s mlynářem pražským, ale domluva asi nebyla vždy jednoduchá. Již roku 1735 se můžeme v městské gruntovní knize dočíst o sporu těchto dvou mlynářů, který se týkal velikosti mlýnských kol a jak jinak, i vody. Jiří Hnátek si stěžuje, „…že by od mlynáře pražského skracenost zdi pro zdělání velikých kol trpěti musel… Za postavení větších kol bylo pražskému mlynáři do budoucna pohroženo pokutou od magistrátu. Z dalšího zápisu vyplývá, že celý spor vznikl patrně tehdy, když konšelský mlynář stavěl u svého mlýna kamenný mostek a přehradil na šest dní řeku. To spolu s velkými koly u pražského mlýna způsobilo, že v řece nebyla žádná voda. Pražský mlynář si totiž rozšířil i vantroky a přebytečnou vodu vypouštěl do jalové strouhy, ke konšelskému mlýnu tak doteklo málo vody. Komise se snažila o rychlou nápravu „…nebo to se Wý že Praský a Konšelský Mlynář na jednom stejným Nájmu a Platu jsou, za Slušné jest aby jednoho práva užívaly…“.Pro spravedlivé rozdělení vody měl pražský mlynář udělat korýtko, kterým by přepouštěl na pilu konšelského mlýna všechnu nepotřebnou vodu. Navíc měl konšelský mlynář výlučné právo hýbati s ocejchovaným splávkem na řece. Pražský mlynář mohl zvednout splav jen při náhlé velké vodě. Konšelský mlynář měl také udržovat správnou šířku vodního toku a to již od mostu pražského mlýna. Celý spor o vodu se dotkl i litomyšlského koželuha, kterému bylo zakázáno máčet kůže v řece a tím „…wodu zdejmat…“. Dalším opatřením ve prospěch konšelského mlynáře byl jeho svobodný přístup k řece a to i na úkor měšťanů a vrchnostenských poddaných, kteří měli u vody své zahrady a jiné ohrazené pozemky. Posledním požadavkem konšelského mlynáře bylo, aby mlynář pražský, kvůli kterému se celé vyšetřování provádělo, zaplatil celé nebo alespoň větší část nákladů komise.
Nad mlýnem stojí také obecní špejchary, ke kterým má mít obec volný přístup. Jinak má mlynář celý mlýn spravovat sám, jen kdyby bylo potřeba opravit splav, může si na obci zažádat o robotníky a dřevo. Jeden buk a jednu borovici na opravy mlýna dostane každý rok.
Jak vyplývá z gruntovních zápisů byla cena Pražského mlýna i stanovený úrok shodný s cenou a pololetním úrokem na konšelském mlýně. Pražský mlynář dodával do městského špitálu maso, zatímco konšelský mlynář navíc ještě žito a chléb. K povinnostem konšelského mlynáře patřilo také vydávat chléb ponocnému, šafáři a také odevzdávat denně „…jeden bochník chleba robotního…“. Je nasnadě, že součástí konšelského mlýna musela být i pekárna. Oba městské mlýny platily na počátku 18. století pololetní úrok. Zatímco u Pražského mlýna činil půlroční poplatek 80 kop, mlýn zvaný špitálský splácel pouze 10 kop dvakrát do roka. Oproti Pražskému mlýnu však odváděl 55 strychů obilí pro chudé špitálníky. K roku 1736 nacházíme v městských knihách povinnost obou městských mlynářů platit ročně 3 kopy za vykrmení jednoho vepře.
Další zápisy se zabývají požadavky mlynářů na dodávky dříví na opravy mlýnů. Zatímco v roce 1737 si mlynáři toto bukové a borovicové dřevo nechali dovést v rámci poddanských robot, o rok později již městská rada nařizuje mlynářům pořizovat si dříví na vlastní náklady. Je to patrně jedna z prvních známek zostřujících se vztahů mezi mlynáři a městem. V následujících letech mají mlynáři problémy s pravidelnými platbami. Dluží nejen za zmíněné „…vykrmení vepře…“, ale i pololetní platby a dodávky meliva. Jejich dluh narůstá a pražský mlynář končí v březnu roku 1738 dokonce v šatlavě. Také mlynář konšelský byl upomínán za dodávky meliva, rada si stěžuje také na kvalitu mouky a uvažuje o mletí obecního obilí v jiném mlýně. I mlynář konšelský byl v květnu roku 1738 ke splacení svých dluhů „…arrestem přidržen…“.Dlužník se však odvolal k vrchnosti, kde dosáhl určitého snížení dluhu a zbytek dluhu ve výši 150 kop mu byl rozepsán do jakéhosi splátkového kalendáře po 10ti kopách ročně.Roku 1740 žádají oba mlynáři o ulevení svatojiřského úroku. Jejich žádost je však zamítnuta, i když mlynáři konšelskému bylo v tomto roce prominuto čtvrt roční činže, protože byla velká zima a on nemohl mlít.Ani u jednoho mlýna však není určeno, kdo z měšťanů má mlít obilí v Pražském a kdo v Konšelském mlýně.
V roce 1930 mlýn vlastní Eduard Kraus.
