Um 1864 errichtet die Familie von Buttlar oberhalb des Dorfes Elben eine Ziegelei mit vier Öfen und zwei Schornsteinen. Hier finden ca. 16 Männer aus Elben und Elberberg im Sommer einen Arbeitsplatz, im Winter arbeiten sie in den buttlarischen Wäldern.

Gegenüber der Ziegelei errichtet man ein Wohnhaus für den Ziegelmeister.

1925 wird die Ziegelei modernisiert und 1935 ein neuer Ringofen angelegt. 1940 wird der unrentable Betrieb eingestellt und im Jahr darauf der Schornstein gesprengt.

Im Winter 1944/45 werden im Zuge der sogenannten Mischlingsaktion ca. 120 halbjüdische Frauen mit ihren Kindern aus Ostwestfalen nach Elben deportiert. Sie werden im Tonloch der ehemaligen Ziegelei zunächst in Zelten, später in Holzbaracken untergebracht. Beim Ausbau der Großstollenanlage im 2 Kilometer entfernt liegenden „Hardtkopf“ müssen sie Zwangsarbeit verrichten.

In den Nachkriegsjahren dient das ehemalige Tonloch als örtliche Mülldeponie, wird 1982 geschlossen und danach rekultiviert. Der Bereich stellt jedoch nach wie vor eine „Altlast“ dar.