Die Burg wurde 1323 erstmalig erwähnt. Untersuchungen weisen aber auf eine frühere Erbauung hin. 

In seiner Geschichte wechselte das Schloss häufig die Besitzer.

Von 1651 bis 1743 war das Schloss in Pachtbesitz der Familie von Römer, die im Schneeberger Raum durch den Silberbergbau zu größerem Reichtum gekommen war. Die Besitzer Christian August Hähnel, der Rauenstein 1816 erworben hatte, sein Neffe Wolfgang Freiherr von Herder (Enkel des Dichters Johann Gottfried Herder und Besitzer von 1843 bis 1853) sowie dessen Vetter Wilhelm Freiherr von Herder waren Abgeordnete des Sächsischen Landtags. Der folgende Besitzer Gottfried Freiherr von Herder war von 1893 bis 1898 deutschkonservativer Reichstagsabgeordneter. Während des Zweiten Weltkrieges waren wertvolle Bücher aus Leipzig eingelagert, die nach dem Krieg in die Sowjetunion verbracht wurden. 

Nach der Enteignung im Zuge der Bodenreform 1945 diente das Schloss als Kindererholungsheim und war ab 1999 nach einem Rückkauf vom Landkreis Mittleres Erzgebirge zunächst in Person von Carl Wilhelm von Herder-Rauenstein (1926–2021) wieder im Besitz der Familie von Herder. Herder-Rauenstein, der Urururenkel des Dichters Johann Gottfried von Herder, wurde auch zum letzten Besitzer aus dieser Familie, indem er das Anwesen kurz vor seinem Tod an eine Privatperson verkaufte