Deze burcht ligt op een 290 meter hoge leisteenrots boven de wilde Elzbach (welke 8 kilometer verder in de Moezel uitmondt). De burcht bestaat uit acht woontorens en is 45 meter hoog, een soort Middeleeuwse wolkenkrabber. Vroeger stond hij op de 500 Mark- briefjes. Sinds de 12e eeuw is de burcht in het bezit van de graven en de edele heren von en zu Elty. Deze burcht behoorde steeds aan de mannelijke familieleden van de familie. Het was een soort Sippenburg voor een grafelijke erf- en woongemeenschap. Ze woonden samen om zich gezamelijk te beschermen en bezig te houden. Iedere familie had zijn eigen huis; het Haus Platt, Haus Kempenich, De Rodendorfer huizen en het Rübenacher huis. Voor het behoud van poorten, putten en versterking was men gemeenschappelijk verantwoordelijk. Tot 100 familieleden leefden eens in ruim 100 woonruimtes. De burcht werd voor de eerste keer in 1157 in een schenkingsoorkonde van keizer Freidrich I Barbarosso, genoemd. Ze werd gebouwd door Rudolph von Eltz. Maar reeds in 1268 deelden de broeders Elias, Wilhelm en Theoderich de burcht en maakten haar tot een Ganerbenburg. De drie huizen werden naar hun wapens genoemd, Eltz vom goldenen Löwen, Eltz vom silbernen Löwen en Eltz von den Büffelhörnern.
In de Elzter Fehde (1131-1336) belegerde de Trierse keurvorst Balduin de burcht omdat de Eltzer geweigerd hadden zich aan hem te onderwerpen. De burcht werd niet aangevallen, maar eenvoudigweg van de wereld afgesneden. Balduin bouwde een andere burcht nabij Burg Eltz en liet met een kattepult kogels op de burcht schieten. De Eltzer heren vroegen reeds snel om vrede en beloofden trouw. Als straf moesten ze de belegeringsburcht ook in stand houden. Deze verviel echter snel. Tegenwoordig is de ruine nog te zien aan de wandelweg van de parkeerplaats naar de burcht.
In 1567 werd vreemd genoeg een graaf van Eltz tot keurvorst van Trier gekozen. Philipp Karl von Eltz schopte het zelfs tot vorstbisschop van Mainz en werd zo de machtigste kerkvorst ten noorden van de Alpen. Hij stond als hoofd van de Duitse katholieke kerk op gelijke rang met de Paus.
In de burcht zijn ridderuitrustingen, het originele interieur, tientallen voormalige gemakken (toiletten) en een schatkamer te zien.