Velký mlýn v Budyni nad Ohří dal postavit v 16. století Jan IV. Zajíc z Hazmburku. Se stavbou nového mlýna, který měl nahradit starý, dřevěný mlýn v Mileticích, zašlý pravděpodobně v r. 1514 při velké povodni, se začalo v roce 1515 a dokončena byla v roce 1535. K mlýnu byly přiděleny Budyně, Písty a Vrbka. Janu IV. Zajícovi pravděpodobně přispěli na stavbu finančně místní židovští obchodníci. To proto, že nad hlavním vchodem do mlýna byla umístěna deska s hebrejským nápisem : "Miklot baal horechajim...", která měla objekt chránit před ohněm, povodněmi atd. Česky nápis na desce zní:
"Mikuláš Pán, vlastník téhož mlýna, pozdvihl očí svých k nebesům vzhůru a úpěl vroucně k Bohu, který kraluje na trůnu v nebesích, by jej (mlýn) od žhavého ohně, od nouze vodní, od hniloby dřeva, a aby se nikdy nesesul, opatrovati ráčil, též by onť jemu, jen na tomto světě, tak na onom všecko dobré uděliti ráčil."
Pod hebrejským nápisem je ještě vytesáno česky:
Požehnánj božj gest welike zbožj,
pokora gest prawa moudrost,
sprawedlnost gest ta negwietssj ctnost (1535)
Vedle pak byla v kameni vytesána hlava stavitele mlýna "s obličejem plným a nosem okurkovým", ta však byla při pozdější přestavbě mlýna zničena.
Velký mlýn v Budyni nad Ohří byl postaven v renesančním slohu, s vysokou štíhlou střechou krytou prejzy. Pěkně se vyjímala do dvora vysunutá šalanda. Ta měla dvě okna do dvora, nad nimiž byla ve štítě výzdoba s oblouky. Uprostřed zde byla zasazena další pískovcová deska s latinským nápisem, potvrzujícím datum stavby mlýna. V češtině nápis zněl:
"V křesťanském roce 1535 s pomocí Boží a lidské síly jes toto dílo pod prezidentstvím vysoceurozeného a mocného barona pana Jana Zajíce z Hazmburku a na Budyni nad Ohří, truksasa Království českého v měsíci dubnu druhého dne dohotoven."
Dále v levém oblouku ve štítě byla vytesána podoba Jana IV. Zajíce z Hazmburku, jak drží měšec. V pravém oblouku ve štítě byla vytesána podoba jeho manželky Markéty Minsterberské, která držela v pravé ruce kytici. V roce 1905 byla podobizna Markéty Minstrberské přenesena do zámku, kde byla zazděna v příčce sálu. Podobizna Jana IV. Zajíce byla 1871 při přestavbě mlýna zničena.
Na levém břehu "malého Ohře", kde je pila, bývala v minulosti také pila v dřevěné boudě, která byla však v 18. století zrušena a na jejím místě zřízen mlýn, zvaný povodník, kde byl umístěn kalandr čili krupník. Z tohoto mlýna pak roku 1871 vznikla nová pila.
Od prvopočátku, tedy od roku 1535, byl mlynářem a pachtýřem na Velkém mlýně v Budyni Mikuláš, žid. S ním zřejmě souvisí desky na mlýně psané v hebrejštině.
Od roku 1600 se na mlýně připomíná Jakub Trčka. Ten měl vedle mlýna ještě stavení č.114.