Die Scherenburg steht auf der Bergflanke, die sich zwischen Main und Saale erstreckt. Ihre Entstehungszeit liegt im Ungewissen, vermutlich wurde die Burg vor 1243 von den Grafen von Rieneck, denen das dortige Land gehörte, erbaut: als Zollburg, zur Sicherung ihrer Zolleinnahmen bei der Flussüberquerung des Mains und der Grenzen zu Würzburg.
Durch den Bau der Rieneckschen Burg kam es zu Streitigkeiten zwischen dem Würzburger Bischof Hermann I. von Lobdeburg und Gräfin Adelheid, der Witwe Ludwigs II, sodass der Bischof seinerseits über der heutigen Scherenburg zum Zeichen seiner Macht auf der Spitze des Höhenrückens eine zweite Burg baute, die Slorburg. Die völlig überwachsenen Mauerreste sind noch auf dem nach Osten ansteigenden Höhenrücken zu finden.
1469 kam die Burg endgültig an Würzburg, erhielt den Namen des Fürstbischofs Rudolf II. von Scherenberg und diente bis 1598 als Amtskeller. Die Burg war noch bis ins 18. Jahrhundert bewohnbar, wohl auch, weil die Scherenburg im Bauernkrieg 1525 verschont geblieben war. In der Burgkapelle - heute lässt sich ihre Lage nicht mehr feststellen - wurde im Jahr 1732 noch eine Trauung vollzogen. Erst in der zweiten Hälfte des 18. Jahrhunderts begann der Verfall der seit 1825 in Privatbesitz befindlichen Burganlage. In den letzten Wochen des Zweiten Weltkriegs wurde die Stadt Gemünden durch Luftangriffe weitgehend zerstört und auch die Burganlage schwer getroffen. Seit 1965 ist die Scherenburg Eigentum der Stadt Gemünden.
So wie die Ausgestaltung der Ringmauer, die Keller und andere architektonische Details sich darstellen, wurde die Burg in mehreren Bauabschnitten erstellt oder wurde des Öfteren umgebaut. An der Nordwestseite, mit der Breitseite gegen die Stadt, lag der Wohnbau, dessen Länge sich vom Bering bis zur Stiege, die in den Keller führte, erstreckte. Gegen Norden der hohe Treppengiebel, an dem die Ansatzpunkte der drei Geschosse auch heute noch erkennbar sind. Der Wohnbau ist unterkellert und wird durch das Kreuzgewölbe des zweischiffigen Kellers von zwei rechteckigen Mauerpfeilern und sechs Rundsäulen getragen.
Heute sind von der Burganlage noch das Burgtor im Südosten, ein Teil der Schildmauer (einst verbunden mit der Stadtmauer zu einer zusammenhängenden Ringmauer), der runde mächtige Bergfried (Fledermausquartier und deshalb nicht mehr besteigbar), eine Giebelwand des unterkellerten Palas und davor ein kleiner Zwinger erhalten.
Vom Burghof geht der Blick weit hinaus über das Maintal bis zu den bewaldeten Hügeln des Spessarts sowie in das liebliche Saaletal hinein.
Seit den 1990er Jahren finden im Sommer (Juli bis Mitte August) im Innenhof der Burgruine die Scherenburgfestspiele (Freilichttheater) statt.
