Umwandlung alter Karten in digitale 3D-Modelle verlorener Stadtteile

Andrew Corselli

Stellen Sie sich vor, Sie setzen ein VR-Headset auf und schlendern durch das längst vergangene Viertel, in dem Sie aufgewachsen sind. Dies ist nun eine sehr reale Möglichkeit, da Forscher eine Methode entwickelt haben, um mithilfe von maschinellem Lernen und historischen Karten der Sanborn Fire Insurance digitale 3D-Modelle historischer Viertel zu erstellen.

„Die Geschichte hier ist, dass wir jetzt die Möglichkeit haben, die Fülle an Daten zu erschließen, die in diesen Sanborn-Brandatlanten eingebettet sind, die für etwa 12.000 Städte und Gemeinden in den Vereinigten Staaten erstellt wurden“, sagte Harvey Miller, Co-Autor der Studie und Geographieprofessor an der Ohio State University. „Es ermöglicht einen völlig neuen Ansatz für die Stadtgeschichtsforschung, den wir uns vor dem maschinellen Lernen nie hätten vorstellen können. Es ist ein Game Changer.“

Der Co-Autor der Studie, Yue Lin, Geographie-Doktorand an der OSU, hat maschinelle Lernwerkzeuge entwickelt, die Details zu einzelnen Gebäuden aus den Karten extrahieren können, einschließlich ihrer Standorte und Grundrisse, Anzahl der Stockwerke, Baumaterialien und Hauptnutzung.

Die Forscher testeten ihre Technik des maschinellen Lernens in zwei angrenzenden Stadtteilen im nahen Osten von Columbus, Ohio, die in den 1960er Jahren größtenteils zerstört wurden, um Platz für den Bau der I-70 zu machen. Durch maschinelle Lerntechniken konnten die Daten aus den Karten extrahiert und digitale Modelle erstellt werden.

Ein Vergleich der Daten der Sanborn-Karten mit den heutigen Daten ergab, dass in den beiden Stadtteilen insgesamt 380 Gebäude für die Autobahn abgerissen wurden – darunter 286 Häuser, 86 Garagen, fünf Wohnungen und drei Geschäfte. Die Analyse der Ergebnisse ergab, dass das maschinelle Lernmodell die in den Karten enthaltenen Informationen zu etwa 90 Prozent genau wiedergab.

„Wir wollen in diesem Projekt den Punkt erreichen, an dem wir den Menschen Virtual-Reality-Headsets geben und sie die Straße entlanggehen lassen können, wie sie 1960 oder 1940 oder vielleicht sogar 1881 war“, sagte Miller.

Hier ist ein exklusives Tech Briefs-Interview – aus Gründen der Klarheit und Länge bearbeitet – mit Miller und Lin.

Technische Briefs: Können Sie in einfachen Worten erklären, wie die Technologie funktioniert?

Müller : Was wir tun, ist die Anwendung von Algorithmen auf Daten. In diesem Fall verwenden wir für einen Teil davon sogenannte Support-Vektor-Maschinen und auch Mask R-CNN. Im Allgemeinen funktioniert es so, dass wir die richtigen Antworten manuell auf den Karten markieren und sie dann dem maschinellen Lernalgorithmus zuführen, damit dieser durch Ausprobieren, durch positives und negatives Feedback lernt. Wenn es schließlich lernt, die Informationen zu erkennen, können wir sie auf die Daten und dann auf die restlichen Karten anwenden.

Lin : Auf Beispielkarten verfügen wir über mehrere Arten von Informationen. Die erste Art von Informationen ist der Gebäudeumriss. Wenn Sie sich die Beispielkarten ansehen, hat jedes Gebäude seine eigenen Umrisse und seine eigenen Formen, und es hat auch seine eigenen Farben. Die Farben repräsentieren die Materialien der Gebäude. Wir nutzen das Modell einer Support-Vektor-Maschine dazu, jedes Pixel anhand der Farben zu klassifizieren, sodass wir zwischen den Hintergründen und den Gebäuden unterscheiden können, da diese unterschiedliche Farben haben. Auf diese Weise erkennen wir die Umrisse und Formen des Gebäudes, um eine Visualisierung zu erstellen.

Es gibt noch andere Arten von Informationen, wie z. B. die Gebäudenutzung; zum Beispiel, ob es sich um ein Geschäft oder ein Wohngebäude handelt. Und auf Beispielkarten werden wir auch in der Lage sein, den Speicher jedes Gebäudes zu kennen, da sie alle auf den Gebäuden beschriftet sind.

In diesem Zusammenhang entwickeln wir ein Erkennungsmodell namens Mask R-CNN. Durch die Kombination dieser verschiedenen Informationen erstellen wir die 3D-Visualisierung – basierend auf diesen historischen Karten und unter Verwendung von maschinellem Lernen.

Technische Briefs: Was waren die größten technischen Herausforderungen, mit denen Sie während Ihrer Arbeit konfrontiert waren?

Lin : Der Georeferenzierungsteil. Wir haben die Beispielkarten von der Library of Congress gesammelt und diese Karten sind zwar digitalisiert, gescannt und koloriert, aber nicht georeferenziert. Es hat also einige Zeit gedauert, bis wir herausgefunden haben, wie wir diese Karten automatisch georeferenzieren können – das war eine wirklich große Herausforderung; Es handelt sich um historische Karten, und oft konnten wir nicht viele Kontrollpunkte für die Georeferenzierung finden.

Müller : Die Kontrollpunkte sind aktuelle Straßenkreuzungen, die auf der Sanborn-Karte vorhanden sind. Wenn die aktuelle Straßenkreuzung existiert, kennen wir ihren Standort. Wenn wir es finden und mit der Karte von Sanborn abgleichen könnten, denselben Schnittpunkt, dann führen wir die Georeferenzierung so durch.

Lin : Oftmals findet man auf den historischen Karten einige Straßen und Kreuzungen, die heute nicht mehr existieren. Daher ist es für einige Stadtteile, an denen wir arbeiten, sehr schwierig, die Karten den Standorten auf der Erde zuzuordnen. Das ist also eine der größten Herausforderungen, denen wir in diesem Prozess begegnet sind.

Wir versuchen derzeit herauszufinden, wie wir diesen Prozess automatisierter gestalten können. Es gibt einige hervorragende Ressourcen. Es gibt beispielsweise Forscher, die einige kollaborative Plattformen entwickeln, die eine Karte mit doppelter Referenz für unsere Anwendungen bereitstellen, und es gibt auch einige Techniken des maschinellen Lernens, die es uns ermöglichen, dies automatisch zu tun. Das können also einige der zukünftigen Forschungsrichtungen für unsere Projekte sein.

Eine weitere große Herausforderung besteht darin, dass wir jetzt an den Daten eines anderen Stadtteils arbeiten und auf dessen Beispielkarten viele Industriegebäude zu sehen sind. Für Industriegebäude gibt es viele beschreibende Texte zu den Gebäuden. Wir versuchen, einige Methoden zu entwickeln, um die Texte aus den Gebäuden zu extrahieren. Aber das ist eine kleine Herausforderung, da diese Texte nicht standardisiert sind und viele Abkürzungen verwendet werden. Die Entwicklung eines Texterkennungsmodells ist also eine gewisse Herausforderung, aber wir arbeiten auch daran.

Technische Briefs : Harvey, Sie werden mit den Worten zitiert: „Wir wollen in diesem Projekt den Punkt erreichen, an dem wir den Menschen Virtual-Reality-Headsets geben und sie die Straße entlanggehen lassen können, wie sie 1960 oder 1940 oder vielleicht sogar 1881 war.“ Wie weit sind wir Ihrer Meinung nach davon entfernt?

Müller : Ich würde sagen, ein paar Jahre, vielleicht ein Jahr. Daran arbeiten wir gerade. Wir haben eine neue Phase des Projekts, in der wir versuchen, eine Geschäftsstraße mit Geschäften in Schwarzbesitz in Columbus aus den frühen 1950er Jahren zu rekonstruieren. Wir wollen realistische Gebäudetexturen entwickeln. Die Gebäudetexturen bedeuten, wie die Gebäude von außen aussahen. Im Moment haben wir eine Reihe von Regeln entwickelt, die auf dem Architekturstil und der Nachbarschaft basieren, und wir schaffen Gebäude, die sozusagen darstellen, wie die Gebäude aussehen würden. Wir wollen es für das Auge viel realistischer machen.

Um das zu erreichen, arbeiten wir gerade an ein paar Dingen. Eine Möglichkeit besteht darin, dass wir ein regelbasiertes System verwenden, bei dem wir Architekturzeichnungen studieren und Regeln dafür entwickeln, wie die Fassaden dieser Gebäude aussehen.

Die andere Technik besteht darin, dass wir Luftbilder und Street View-Bilder verwenden, sofern vorhanden, entweder für historische Street View-Bilder oder vielleicht für Google Street View, da einige Gebäude noch vorhanden sind, und die Bilder nehmen und sie am Gebäude überprüfen.

Eine schnellere Möglichkeit, Raketen zu entwerfen: Wissenschaftliches maschinelles Lernen

Executive Forum: Maschinelles Lernen und KI

Maschinenintelligenz zum Bau weicher Maschinen

Und dann gibt es einen hybriden Ansatz, bei dem wir in einigen Gebäuden Bilder wie Luftaufnahmen oder Straßenansichten verwenden und das Dach direkt aus dem Bild erstellen, dann aber die Seite des Gebäudes anhand von Regeln konstruieren. Es wird ein fast gebäudeweiser Ansatz sein, der einfach auf den Informationen basiert, die wir über das Gebäude wissen. Wenn wir über gute Bilder verfügen, können wir dies einfach durch die Projektion des Bildes erreichen. Wenn nicht, müssen wir uns Regeln oder eine Art Simulation davon einfallen lassen.

Die andere Sache, an der wir arbeiten, um es realistisch zu machen, ist die Arbeit mit unserem Tiefbauprogramm und die Aufnahme von Luftbildern – einige davon stammen aus den 50er Jahren und wurden für Kartierungszwecke verwendet – und wir verwenden diese, um realistische Bilder zu erstellen 3D-Landschaften wie Gras, Bäume, Büsche und Straßen. Und das wird auch ins Bild projiziert. Wir wissen technisch, wie das geht.

Die große Herausforderung, vor der wir stehen, besteht darin, einen guten Arbeitsablauf für die Archivrecherche zu finden und herauszufinden, wo diese Daten vorhanden sind. Neben den Luftbildern gibt es viele verschiedene Bereiche; Schon damals verwendeten Immobilienmakler Fotos zur Bewertung von Gebäuden, oder wenn sie das Gebäude verkauften, machten sie ein Foto und legten es in einer Kartei ab. Einiges davon wurde digitalisiert. Wir haben darauf zugegriffen, um nach alten Fotos der Gebäude und alten Fotos der Nachbarschaft zu suchen. Aber ich bin zuversichtlich, dass wir es schaffen können; Es geht lediglich darum, den bestmöglichen Arbeitsablauf zu entwickeln, der auf andere Städte übertragen werden kann.

Technische Briefs: Gibt es noch etwas, das einer von euch beiden hinzufügen möchte?

Müller : Was wir hier gemacht haben, ist ein echter Durchbruch, Standardgebäude sowie Gewerbegebäude und Wohngebäude aus diesen Sanborn-Atlanten zu erfassen. Eine unserer großen Herausforderungen besteht darin, nicht standardmäßige Gebäude zu bauen, etwa Industriegebäude mit Textbeschreibungen. Das wird viel anspruchsvoller sein.

Die andere Sache, an der wir arbeiten, ist das Extrahieren der Straßenadressendaten aus der Karte, damit wir die Straßenadresse für jedes Gebäude erhalten und diese dann mit Dingen wie historischen Telefonbüchern, Stadtverzeichnissen und anderen Aufzeichnungen verknüpfen können. Das ist eine kleine Herausforderung, da Sie die räumliche Beziehung zwischen dem Straßennamen, der Straßenadresse und den Gebäuden finden müssen. Und es gibt viele Fälle, wie den, den wir uns heute Morgen angesehen haben, bei dem es sich um ein öffentliches Wohnungsbauprojekt mit einer einzigen Straßenadresse für viele, viele Gebäude handelte und die Daten versiegelt waren.

Es gibt solche Herausforderungen; Aber wir haben ein gutes Team, finden es heraus und machen weiter. Einer unserer Hauptgründe dafür ist, dass einige der Schäden durch Redlining, Stadtautobahnbau und Stadterneuerung in einigen Vierteln von Columbus – und tatsächlich in vielen amerikanischen Städten – verursacht wurden.

Wir möchten den Menschen ein Gefühl dafür vermitteln, was existierte, bevor diese Dinge in diesen Vierteln passierten, um nicht nur zu würdigen, was diesen Vierteln absichtlich angetan wurde, sondern auch, um darüber nachzudenken, wie wir in Zukunft versuchen können, einiges davon zu reduzieren oder abzumildern der Schaden, der durch diese schlechten Praktiken im späten 20. Jahrhundert angerichtet wurde.