Der Elberberger Schlossberg ist ein Bergsporn über dem Elbetal. Hier befindet sich seit alters her der Standort der Burg des Ortsadels, der im Osten durch eine Wall-Graben-Anlage geschützt ist; daran angrenzend liegt der zugehörige Wirtschaftshof. Die Anlage ist im Besitz der Herren von Elben bis zu deren Aussterben im Jahr 1535, kommt dann an die Elbischen Ganerben (v.Boyneburg, v.Buttlar, v.Grifte, v.Neter) und geht 1693 in den alleinigen Besitz der Familie von Buttlar über.
Der älteste Gebäudeteil, das sog. „Alte Schloss“ mit Turm, wird im Jahr 1583 errichtet. Offenbar finden dabei Materialien eines älteren Torgebäude Verwendung, daher der Stein mit der Inschrift der Jahreszahl 1413 in gotischen Minuskeln. Das neuere Schloss (Herrenhaus) entsteht in zwei Bauabschnitten ab 1834 und 1860/61. Die ältesten Gebäude des Wirtschafts- bzw. Gutshofes werden im 18. Jahrhundert erbaut: 1739 die Renterei, 1752 das Verwalterhaus und 1768 der sogenannte Kuhstall.
Am Südhang des Schlossbergs befindet sich eine barocke Gartenanlage mit drei gemauerten Terrassen; auf der obersten Terrasse stehen prächtige exotische Bäume aus dem 19. Jh. (Ginkgo, Mammutbaum). Der Schlosspark ist so angelegt, dass er in die Landschaft übergeht.
Das Gartenhaus am Beginn der Schlossstraße wird 1771 errichtet. Die Tür ist noch original, sie zeigt einen geschnitzten Orgelprospekt. Das Mansardwalmdach wird von einer Sphinx als Wetterfahne bekrönt.
