Seit dem Jahr 2015 steht das Schloss Schwanberg leer. Damals wurde die Außenstelle der damaligen Sigmund-Freud-Klinik geschlossen, die letzten Bewohner und Beschäftigten verließen das Landespflegeheim. Damit ging eine 120-jährige Ära zu Ende, die 1892 mit der Einrichtung einer „Landessiechenanstalt für Geisteskranke“ begann. Für Aufregung sorgte 2010 ein Pflegeskandal: Patienten sollen misshandelt worden sein. Der für 2011 geplante Umbau wurde abgesagt, 2012 beschloss die Landesregierung die "Enthospitalisierung" des Pflegeheims.