Das ehemalige Residenzschloss der Reuß jüngere Linie entstand auf dem Gelände einer jungbronzezeitlichen Burgwallanlage. Im Jahr 1234 residierte der Weidaische Reichsvogt Heinrich auf der Burg. Um 1581 wurde die Burg erstmalig mit dem Namen „Osterstein“ bezeichnet. Während eines schweren Bombenangriffes am 6. April 1945 durch anglo-amerikanische Bomber wurde das Schloss zerstört. Heute sind noch der Bergfried aus dem 12. Jahrhundert, einige Gebäude des unteren Schlosses und der seit 2011 restaurierte Schlossgarten erhalten.