Die Hardt-Mühle wird als jüngste der drei Mühlen in Elben im Jahr 1715 von dem Papiermachermeister Johann Michael Scheuermann errichtet und als Papiermühle bis zur Mitte des 19. Jahrhunderts betrieben. Das hier hergestellte Papier trägt als Wasserzeichen das Wappen der Familie von Buttlar, die Lehensgeber der Mühle sind.

Ab 1851 ist hier ein Brauereibetrieb; im Jahr darauf wird fünfzig Meter entfernt der Felsenkeller zur Einlagerung des Bieres angelegt. Geführt wird die Brauerei durch den Braumeister Joseph Brugger aus München. Nachdem der Betrieb nach wenigen Jahren wegen Absatzschwierigkeiten eingestellt wird, ist hier für kurze Zeit eine Tuchfabrik, ab 1867 eine Holzschneidemühle (Sägewerk) sowie ein Weizenmahl- und Fruchtreinigungsgang.

Danach befindet sich im Keller- und Erdgeschoss einige Jahre ein Restaurant. Heute wird das Gebäude zu Wohnzwecken genutzt.

Der gegenüberliegende Schafstall, gelegentlich ebenfalls als Hardtmühle bezeichnet, wird 1872 errichtet. Hier werden ab 1977 in dem Projekt „Heumarkt – Hardtmühle und ABC-Buchladen“ von jungen Menschen alternative Lebensformen erprobt.