Das "castrum" in Frankenberg erscheint 1225 erstmals direkt, als sich der Würzburger Fürstbischof Hermann von Lobdeburg in seiner Wahlkapitulation verpflichtet, die von Konrad von Endsee besetzte Burg für das Hochstift zurückzuerobern. 1254 errichteten die Burggrafen von Nürnberg im Zuge ihrer expansiven Territorialpolitik unterhalb der Burg eine Gegenburg (Vorderfrankenberg). 1271 erscheint der mit den Burggrafen verwandte Gottfried von Hohenlohe als Schutzherr der Burg, woraufhin der neue Würzburger Bischof Manegold von Neuenburg die Burg 1275 an die auf Vorderfrankenberg sitzenden Brüder von Seinsheim übergab (siehe dort). 1290 übereignete Fürstbischof Manegold seinem Dompropst Heinrich II. von Wechmar die Burg zu freiem Eigentum auf ewige Zeiten. Bereits 1344 wird sie als baufällig beschrieben, 1462 dann durch Siegfried von Schwarzenburg niedergebrannt. Einer Wiederherstellung von 1480 bis 1488 folgt die endgültige Zerstörung 1554 im 2. Markgrafenkrieg. Um 1600 wohnte nur noch ein Förster im südwestlichen Torhäuslein, der Rest war ruinös. 1811 erwarb der Eigentümer der Burg Vorderfrankenberg, Freiherr von Pölnitz, die Burgruine, um sie gänzlich zur Steingewinnung abzutragen.