Die Martinskirche liegt nicht in der Mitte des Dorfes, sondern in einer Randlage. Der wehrhafte Turm ist der älteste Bauteil und wohl noch romanisch, errichtet um das Jahr 1200. Der Turm hat gut 4 Meter über dem Boden einen hochgelegenen Außenzugang. Der Neubau des Kirchenschiffs erfolgt 1788. Das Patronat an der Pfarrstelle übt die Familie von Buttlar aus, die in der Kirche einen eigenen Patronatsstand besitzt.
Der Kirchhof ist eine mittelalterliche Wehranlage; im westlichen Mauerabschnitt sind noch zwei schlitzförmige Schießscharten erhalten. Er ist gleichzeitig Friedhof für die ehemaligen Gemeinden Elben und Elberberg; 1823 werden Gemeindefriedhöfe in beiden Dörfern angelegt.
In der dorfseitigen Ecke des Kirchhofs steht bis 1976 ein mächtiges Wohnhaus, das den Blick auf die Kirche verdeckt. Den Standort auf dem Kirchhof erklärte man sich damit, ein Pfarrer habe das Haus für seine beiden Töchter errichtet. Tatsächlich hat vor 1738 die Witwe des Pfarrers Fülling aus Züschen „ein groß Wohnhaus, so von einem Kirchhofs Gaden, … zu einem Wohnhaus erbauet“ (Steuertabelle Elben 1738).
Das Pfarrhaus wird 1890 als zweigeschossiger Backsteinbau durch den Maurermeister Fischer aus Wellen – Sohn des damaligen Elbener Bürgermeisters Fischer – errichtet.
Das Backhaus im Oberdorf von Elben wird nach 1870 errichtet und in den 1950er Jahren abgebrochen.
