Die Ruine Bramberg wurde wahrscheinlich im 11. Jahrhundert zum Schutz der über den Haßbergkamm verlaufenden Hochstraße, dem Rennweg, errichtet. Die Bramberger Ritter hielten sich allerdings nicht an diese Aufgabe, sondern betätigten sich im Gegenteil als Wegelagerer und Räuber.

Nach einer anderen Lesart waren die Edelfreien von Bramberg dem Würzburger Bischof ein Dorn im Auge, weil sie zu keinerlei Abgaben an den Oberhirten verpflichtet waren. Deshalb schilderte er dem Kaiser Friedrich Barbarossa das angebliche Bramberger Raubrittertum so, als hätte es sich wirklich ereignet. Der Kaiser jedenfalls glaubte dem Bischof und erließ ein Dekret: "Da von der Burg Bramberg aus Fried und Ruh des ganzen Gebiets gestört wurde und Gelegenheiten jeglicher Bosheiten gegen die Kirche zu Würzburg sich ergaben, so haben wir (…) bestimmt, dass diese Burg zu schleifen sei und der Berg der Kirche zu Würzburg zu Recht und Eigen übergeben werde."

Aufgrund dieses kaiserlichen Befehls wurde die Burg 1168 zerstört. Der gleiche Bischof ließ die Burg, trotz Verbotes, 1250 wiederaufbauen, diesmal allerdings als Würzburger Amtssitz. Sie wurde 1525 von aufständischen Bauern in Brand gesteckt und ist seitdem Ruine.