V roce 1846 se na Velký mlýn dostal František Ostrif a po něm od roku 1853 zde byl Antonín Hlaváček. Od roku 1857 zde mlynařil Karel Tauch z Litoměřic a od roku 1863 Hynek Stejskal z Roudníčku z Dolního mlýna.
Od roku 1871, kdy začala přestavba Velkého mlýna, zde mlynařil František Kettler z Dušník. Městská kronika uvádí, že "toho roku postaveno nad starým zdivem /mlýna/ jedno patro a vnitřek úplně nově upraven". Původně byla ve starém mlýně podlaha o metr nižší proti nynější; chodilo se tam po schůdkách dolů. V mlýnici bylo osmero složení v řadě za sebou, každé hnáno vlastním lopatkovým kolem, a osm těchto kol umístěno ve dvou vodních žlabech podle mlýna. Kola byla hnána spodní vodou. První a druhý kámen otáčel se prudkostí vody nejrychleji, sedmý a osmý nejpomaleji.
Po novém zřízení byly vpředu, kde je podlaha nyní o jeden metr vyzvdvižena a upravena do roviny se dvorem, umístěny čtyři české kameny, které hnalo pouze jedno vodní kolo na střední vodu, a dále umístěny dva kameny po způsobu americkém, kde se také říkalo "Amerikán". Tento "Amerikán" byl hnán zpočátku též jedním lopatkovým kolem. Od roku 1872 byl mlýn hnán již turbínou, v roce 1900 elektrickým pohonem. V roce 1874 byla při mlýně vystavěna na místě povodníku nová pila.
Od roku 1895 měla mlýn vdova Adéla Kettlerová, která platila nájem 4 800 zlatých. Za ní tu byla přidělána pumpa a vodovod do pivovaru.
Od roku 1900 na mlýně hospodařil jako nájemce Josef Pokorný, mlynář z Ječovic. V té době, v roce 1901, byla provedena další přestavba mlýna, tentokrát jeho vnitřku.
V roce 1904 došlo k požáru Velkého mlýna. Předtím totiž jeho majitel J.M. Josef hrabě z Herbersteinu nechal zavést ve mlýně jako hnací sílu elektrický proud a oheň vznikl pravděpodobně jeho krátkým spojením. Stalo se to v 9 hodin večer dne 2. dubna 1904, kdy přední část Velkého mlýna i s velikou zásobou obilí a mouky shořela.
Velký mlýn v Budyni nad Ohří byl poté znovu vystavěn a uvnitř úplně zmodernizován podle nového způsobu.