Der Abbruch der Villa Willmer erfolgte 1970 und wurde durch ein Immobilienentwicklungsunternehmen veranlasst, die Familie Willmer konnte das für sie völlig überdimensionierte Anwesen wirtschaftlich nicht mehr halten und musste verkaufen... Für 1 Mio. DM hätte es die Stadt Hannover übernehmen und nach erforderlichen Sanierungsarbeiten z. B. ein Kulturzentrum einrichten können, Musikschule o. ä. . .... wurde aber abgelehnt, u. a. da der tatsächliche Aufwand der erforderlichen Sanierung von verschiedenen Seiten sehr unterschiedlich bewertet wurde. Ein weiterer Grund mag die ablehnende Haltung gegenüber jeder Historismus-Architektur seitens des damaligen Stadtbaurats Hillebrecht (einem Protagonisten der "autogerechten Stadt"...) gewesen sein.
Es gab kurz vor dem Abbruch Demonstrationen und eine öffentliche Protestliste, die sogar von fast allen damals in Hannover namhaften Architekten unterschrieben wurde. Auch eine Besetzung durch Studenten war bereits geplant. Die Abbruchgenehmigung wurde seitens der Stadt an einem Freitagmittag erteilt, am folgenden Montagmorgen standen seltsamerweise schon die Abbruchgeräte arbeitsbereit da...
Das Niedersächsische Denkmalgesetz wurde leider erst 1975 verschärft und infolgedessen nach intensiven Neuinventarisierungen die Liste der unter Denkmaschutz zu stellenden Objekte - insbesondere Bauten aus dem 19. und 20. Jahrhundert - erheblich verlängert. Die allgemeine, aber besonders die behördliche Erkenntnis des Wertes der Villa Willmer als ein besonders herausragendes Beispiel der "Hannoverschen Schule" kam daher zu spät.