Einmal hatte man es schon zu beseitigen versucht, doch trotz Übermalung war das Hakenkreuz bald wieder deutlich zu sehen. Die erneute Beseitigung scheiterte an der Frage, wer für die Kosten aufkommen hätte. Burgherr Peter Goëss sah sich dazu jedenfalls nicht imstande. Der öffentliche Druck steigerte sich in den vergangenen Jahren nicht zuletzt durch das unermüdliche Engagement von P.E.N.-Club-Präsident Günter Schmidauer. Im Frühjahr 2018 sorgte er mit einem Antrag auf Einleitung eines Verwaltungsstrafverfahrens gegen Goëss bei der Bezirkshauptmannschaft St. Veit für mediales Echo. Vorwurf: Das Hakenkreuz stelle einen Verstoß gegen das Abzeichengesetz von 1960 dar.