Das 800 Jahre alte Städtchen ist eines der Schmuckstücke des Erzgebirges. Mit seinen touristischen Anziehungspunkten wie Burgruine und Museum und seinen kleinen Geschäften bildet es das Zentrum der Gemeinde. Auch kulturell hat die Stadt einiges zu bieten: Es gibt zwei Galerien und sowohl die Stadtkirche als auch das Gottfried Silbermann Museum richten regelmäßig Konzerte aus.

Im Jahre 1218 wurde die Stadt im Zusammenhang mit dem Geistlichen Henricus von Vrowenstein erstmals urkundlich erwähnt. Die heute noch bestehende Burganlage wurde in dieser Zeit auf Geheiß des Markgrafen von Meißen errichtet. In ihrem Schatten entwickelte sich eine kleine, florierende Siedlung, die aus Platzgründen im 14. Jahrhundert auf ihren jetzigen Platz verlegt wurde.
Um den großzügigen Markt herum entwickelte sich Handel und Handwerk, mit der Verleihung des Stadtrechts 1411 konnte Frauenstein nun auch seine eigenen Märkte abhalten, sein eigenes Bier brauen und hatte seine eigene niedere Gerichtsbarkeit. 1585-1588 ließ der letzte Burgherr, Heinrich von Schönberg, direkt neben der Burg ein Renaissanceschloss errichten, welches ihm zeitweise als Wohnsitz diente. Später wurde dieses Gebäude vor allem für Amtsräume genutzt, da Frauenstein inwischen zur Amtsstadt aufgestiegen war.
Leider gab es in der Geschichte der Stadt 3 verheerende Stadtbrände, welche fast die gesamten Gebäude in Schutt und Asche legten. Den letzten beiden Feuersbrünsten fielen auch die beiden eigens für seine Heimatstadt geschaffenen Orgeln Gottfried Silbermanns zum Opfer, dem berühmtesten Sohn der Stadt ist heute ein Museum gewidmet.