Breisach / Freiburg als 3D-begehbare Stadt mit Unreal Engine

Ursprünglich entstand die Idee schon irgendwann um 2010. Damals war ich noch deutlich jünger und hatte mir die Frage gestellt, ob man nicht einfach ein Gebäude digital mappen könnte.

Heute klingt das vielleicht nicht sonderlich spektakulär. Damals war das allerdings noch deutlich aufwendiger. Aus dem einen Gebäude wurde irgendwann eine ganze Landschaft. Wenn Microsoft Flight Simulator die Welt zumindest grob abbilden kann, müsste man das doch lokal auch besser hinbekommen können.

Also nicht gleich die ganze Welt, sondern Freiburg, Breisach oder irgendeinen anderen Ort, mit dem man persönlich etwas verbindet.

Die ersten Versuche liefen noch über klassische Photogrammetrie-Software und viele einzelne Bilder. Später kam Unreal Engine dazu, kombiniert mit Cesium und der Google Maps API. Apple hatte zwar besseres Material, aber das ist natürlich nicht einfach frei zugänglich.

Also musste ich mit dem arbeiten, was verfügbar war.

Auf meiner Projektseite sammle ich schon seit Jahren verschiedene Ideen und Projekte. Manche davon wurden umgesetzt, andere liegen irgendwo zwischen Prototyp, Gedankenspiel und „müsste ich eigentlich irgendwann mal weitermachen“.

Dieses Projekt gehört eindeutig zur letzten Kategorie.

Die ersten Schritte mit Unreal Engine

Mein eigener Versuch war am Ende ein sehr rudimentäres Unreal-Projekt. Ich habe die 3D-Daten von Freiburg eingebunden und versucht, daraus eine begehbare Stadtumgebung zu machen.

Das funktionierte grundsätzlich. Ich konnte die Stadt darstellen und mich in der Umgebung bewegen. Das Problem wurde aber genauso schnell sichtbar: Viele Gebäude waren fehlerhaft oder wirkten einfach nicht richtig.

Die Datengrundlage für Freiburg war eher mäßig. Manche Gebäude waren halbwegs brauchbar, andere sahen aus wie grobe Klötze. Ich habe dabei ausschließlich die vorhandenen 3D-Daten verwendet und nicht zusätzlich mit Street-View-Fotos gearbeitet.

Eine Stadt kann also technisch vorhanden sein und trotzdem nicht wirklich wie diese Stadt aussehen.

Dazu kommt, dass gute Photogrammetrie nicht einfach nur bedeutet, möglichst viele Bilder zu machen. Die Oberflächen müssen genug erkennbare Strukturen haben, die Aufnahmen dürfen nicht verwackelt sein und Spiegelungen oder völlig glatte Flächen machen die Rekonstruktion deutlich schwieriger. Auch die Beleuchtung spielt eine Rolle. OpenScan beschreibt diese Grundlagen ziemlich gut.

Ich war außerdem ungeduldig. Das Projekt war interessant, aber nicht fertig genug, um sofort beeindruckend zu sein. Und wenn man alles alleine macht, ohne KI-Unterstützung, ohne Team und ohne Auftraggeber, landet man irgendwann an dem Punkt, an dem man sich fragt: Für wen mache ich das eigentlich?

Also habe ich es erst einmal ruhen lassen.

Von der Stadt zur gamescom

Später kam der Gedanke auf, ob man nicht auch Messen rekonstruieren könnte. Ich habe eigene Livestream-Aufnahmen von der Fantasy Basel und außerdem Aufnahmen verschiedener Streamer von der gamescom.

Das Material ist natürlich nicht dafür aufgenommen worden, später daraus eine 3D-Welt zu bauen. Trotzdem sind solche Videos interessant, weil sie Orte zeigen, die sonst nur für wenige Tage existieren.

Eine Messehalle ist nach dem Abbau wieder leer. Bühnenbilder verschwinden, Messestände werden zerlegt und viele kreative Ideen sind nach einer Woche nur noch in einzelnen Fotos oder Videos vorhanden.

Gerade bei Veranstaltungen wie der gamescom, der Fantasy Basel oder Tomorrowland wäre es spannend, diese Orte nicht nur als Video zu bewahren, sondern tatsächlich begehbar zu machen.

Die erste Herausforderung beginnt allerdings bereits bei der Datenmenge. Aus vielen Stunden Videomaterial müssen die wichtigsten Bilder herausgeholt werden. Danach muss man versuchen, daraus eine möglichst konsistente Szene zu erstellen.

Im Idealfall möchte man die Messe zunächst ohne Menschen als 3D-Asset rekonstruieren. Anschließend könnte man überlegen, wie man Besucher, Aussteller oder besondere Momente wieder einfügt.

Und genau dort wird es kompliziert.

KI, Gaussian Splatting und neue Möglichkeiten

Inzwischen hat sich technisch einiges verändert. Mit 3D Gaussian Splatting lassen sich aus Foto- und Videodaten sehr realistisch wirkende Szenen erzeugen und in Echtzeit darstellen. Die ursprüngliche Forschungsarbeit beschreibt genau diesen Ansatz für fotorealistische 3D-Szenen.

Auch Plattformen wie Luma zeigen, dass interaktive 3D-Szenen inzwischen nicht mehr zwingend auf einem High-End-PC laufen müssen, sondern im Web, auf Smartphones und auf mobilen Geräten geteilt werden können.

Das bedeutet nicht, dass man damit automatisch eine komplette gamescom rekonstruieren kann. Bei einzelnen Räumen, Gebäuden oder kleineren Bereichen ist der Workflow aber inzwischen deutlich realistischer als noch vor einigen Jahren.

Mein Problem war nie ausschließlich die Machbarkeit.

Der größte Knackpunkt ist die Größe des Projekts. Neben dem Speicherplatz braucht man eine enorme GPU-Leistung. Kleine Versuche funktionieren bereits erstaunlich gut. Bei großen Messehallen mit vielen Aufnahmen, wechselnden Lichtbedingungen, Menschen, Spiegelungen und fehlenden Kamerawinkeln wird es aber schnell teuer.

Mit genügend Geld, Zeit und Hardware wäre vieles möglich.

Privat stellt sich eher die Frage, ob man diese Ressourcen überhaupt aufbringen möchte.

Geschichte hautnah erleben

Der spannendste Gedanke ist für mich inzwischen allerdings nicht einmal die Messe.

Stell dir vor, man könnte Freiburg nicht nur so rekonstruieren, wie es heute aussieht, sondern über einen Zeitstrahl hinweg.

Man startet bei der Gründung der Stadt und kann dann im Zeitraffer beobachten, wie sich Freiburg entwickelt. Gebäude entstehen, Straßen verändern sich, ganze Stadtteile wachsen und irgendwann verschwinden Dinge wieder.

Man könnte sich in einer VR-Brille durch verschiedene Epochen bewegen und die Stadtentwicklung direkt erleben. Nicht als trockenes Modell in einem Museum, sondern als begehbare Umgebung.

Dasselbe Prinzip könnte man auf einmalige historische Momente anwenden. Den Fall der Berliner Mauer, wichtige politische Ereignisse, Unfälle, Katastrophen oder andere Situationen, von denen es viele Videoaufnahmen gibt.

Nicht, um Geschichte künstlich umzuschreiben, sondern um sie für die Nachwelt verständlicher und greifbarer zu machen.

Natürlich müsste man dabei sehr sauber arbeiten. Wenn Daten fehlen, könnte KI bei der Rekonstruktion helfen. Gleichzeitig müsste jederzeit erkennbar bleiben, welche Bereiche tatsächlich belegt sind und welche Teile nur auf Grundlage vorhandener Daten ergänzt wurden.

Gerade bei historischen Ereignissen darf eine künstliche Ergänzung nicht irgendwann wie eine echte Aufnahme wirken.

Nicht nur für Menschen, die vor Ort sein können

Auch der Aspekt der Barrierefreiheit ist für mich wichtig.

Angenommen, jemand liegt im Krankenhaus und kann nicht zu einer Messe reisen. Oder jemand lebt in Australien und kann sich kein Hotel in Köln leisten, das während der gamescom teilweise so viel kostet wie ein First-Class-Flug.

Warum sollte diese Person nicht trotzdem die Möglichkeit haben, eine Messe virtuell zu erleben?

Man könnte auf der Xbox oder in VR durch die Hallen laufen, alte Messestände anschauen, Bühnen erneut besuchen oder sich bestimmte Bereiche aus verschiedenen Jahren ansehen.

Vielleicht sogar mit einer Perspektive, die auf der echten Messe gar nicht möglich wäre.

Für die Navigation wäre auch AR interessant. Ein digitales Overlay könnte zeigen, wo man sich befindet, welche Gebäude früher an dieser Stelle standen oder welcher Messestand im vergangenen Jahr dort war.

Bei meinem ursprünglichen Stadtprojekt war der AR-Aspekt allerdings eher ein Nebengedanke. Der Schwerpunkt lag zunächst auf der Rekonstruktion selbst.

Und warum mache ich es nicht einfach?

Das ist wahrscheinlich die ehrlichste Frage an diesem Projekt.

Die Idee ist gut. Die technische Machbarkeit ist heute deutlich weniger das Problem als früher. Es gibt inzwischen Software, KI-Modelle und Hardware, mit denen man viele Dinge umsetzen kann, die vor zehn oder fünfzehn Jahren noch völlig unrealistisch gewesen wären.

Aber das bedeutet nicht, dass man automatisch die Zeit und Motivation dafür hat.

Mein Kopf ist voll mit Ideen. Eine davon ist, möglichst viele gamescom-Jahre zu digitalisieren. Eine andere wäre, Freiburg über verschiedene Epochen hinweg als digitale Zeitreise aufzubauen.

Dazu kommen Robotik, AR, Smart Home, Unreal-Projekte und wahrscheinlich zehn weitere Dinge, die mir beim Schreiben dieses Beitrags wieder einfallen.

Am Ende ist es also weniger die Frage, ob man es machen kann.

Die Frage ist, ob man anfängt, den Umfang begrenzt und das Projekt auch wirklich bis zum Ende verfolgt.

Alleine als Hobbyprojekt ist eine vollständige gamescom-Rekonstruktion wahrscheinlich zu groß. Wenn mir jemand einen konkreten Auftrag dafür geben würde, sähe die Sache vermutlich anders aus. Dann gäbe es einen klaren Zweck, einen Zeitrahmen und hoffentlich auch die nötigen Ressourcen.

Bis dahin bleibt es ein Projekt, das zeigt, wie sich eine alte Idee verändert hat.

Angefangen bei der Frage, ob man ein Gebäude mappen kann. Heute geht es um digitale Städte, virtuelle Messen, historische Rekonstruktionen und die Möglichkeit, Orte erlebbar zu machen, die man selbst niemals besuchen konnte.

Und vielleicht ist genau das der nächste Schritt:

Nicht sofort die ganze Stadt zu bauen, sondern mit einem Gebäude anzufangen.