# Pippi-Langstrumpf-Realität: Ich mach mir die Welt, wie sie mir gefällt
Vor einigen Jahren konnte man einer KI eine Landschaft ungefähr so erklären, wie ein Kind einen Stadtplan malt: Hier ist Wasser. Dort Himmel. Das Grüne ist Wiese, das dunklere Grün Wald. Ein paar grobe Farbflächen, kaum Details – und aus dieser semantischen Skizze entstand eine überraschend glaubwürdige Landschaft.
NVIDIAs GauGAN war 2019 ein prominentes Beispiel dafür. Das System verwandelte sogenannte Segmentierungskarten – Flächen mit Bedeutungen wie Himmel, Wasser, Baum oder Fels – in fotorealistisch wirkende Bilder. Die Eingabe beschrieb also weniger, wie die Pixel aussehen sollten, sondern vielmehr, was sich wo befinden sollte. Die sichtbare Oberfläche wurde vom neuronalen Netz ergänzt.
Das ist zunächst eine hübsche Demonstration generativer Grafik.
Interessanter wird es, wenn man denselben Gedanken auf Echtzeitgrafik und schließlich auf unsere reale Umgebung überträgt.
Denn moderne neuronale Rendering-Verfahren zeigen bereits eine verwandte Entwicklung: Nicht jeder sichtbare Bildpunkt muss vollständig auf klassische Weise berechnet worden sein. Bei DLSS Super Resolution etwa werden niedriger aufgelöste Bilder zusammen mit Bewegungsinformationen und Daten aus vorherigen Frames genutzt, um ein höher aufgelöstes Resultat zu rekonstruieren. Frame Generation erzeugt zusätzliche Frames unter anderem aus Bilddaten, Optical Flow, Motion Vectors und Tiefeninformationen. Ray Reconstruction ersetzt Teile klassischer Denoising-Verfahren durch ein neuronales Modell, das räumliche und zeitliche Informationen verarbeitet.
Das bedeutet nicht, dass eine Spiele-Engine einfach aufhört, ihre Welt zu berechnen und eine KI den Rest frei erfindet. Aber die Richtung ist bemerkenswert: Die Beschreibung einer Szene und ihre sichtbare Darstellung beginnen sich voneinander zu lösen.
Und genau dort wird es für Augmented Reality interessant.
## Nicht mehr virtuelle Welten erzeugen – die reale Welt neu darstellen
Bei AR denken wir heute meistens an zusätzliche Objekte.
Ein Pfeil schwebt über einer Straße. Ein Monster sitzt auf dem Küchentisch. Eine Textbox hängt neben einer Maschine. Die physische Welt bleibt optisch weitgehend dieselbe und bekommt digitale Elemente darübergelegt.
Was aber, wenn das langfristig die falsche Vorstellung ist?
Eine hinreichend leistungsfähige AR-Brille könnte ihre Umgebung permanent mit Kameras, Tiefensensoren, Trägheitssensoren und weiteren Verfahren erfassen. Aus diesen Daten müsste sie laufend ein räumliches und semantisches Modell ihrer Umgebung aufbauen:
– Dort verläuft eine Straße.
– Dort steht ein Gebäude.
– Das ist ein Baum.
– Dieses Objekt ist ein Mensch und bewegt sich in diese Richtung.
– Dort fährt ein Auto.
– Diese Fläche ist begehbar.
– Diese Kante ist eine Stufe.
– Dieses Objekt ist ein reales Hindernis.
Entscheidend wäre dann nicht mehr, dass die Brille jedes reale Pixel möglichst originalgetreu weiterreicht. Entscheidend wäre, dass sie zuverlässig versteht, was in der Welt vorhanden ist, wo es sich befindet und wie es sich verhält.
Die physische Welt liefert weiterhin Geometrie, Bewegung, Kausalität und Sicherheitsgrenzen.
Ihre sichtbare Oberfläche dagegen könnte zunehmend softwaredefiniert werden.
## Willkommen in der Pippi-Langstrumpf-Realität
Nennen wir dieses Gedankenexperiment Pippi-Langstrumpf-Realität.
> „Ich mach mir die Welt, wie sie mir gefällt.“
Der Name klingt zunächst nach einem besonders ambitionierten Instagram-Filter. Gemeint ist aber etwas technisch Fundamentaleres.
Stellen wir uns jemanden vor, der durch das reale London läuft.
Die Straßen, Kreuzungen, Häuserblöcke, Fahrzeuge und Menschen existieren tatsächlich. Die Person bewegt sich physisch durch genau diese Umgebung. Durch ihre Brille sieht sie jedoch keine modernen Fassaden mehr.
Asphalt wird zu einem gepflasterten Weg. Bürogebäude erscheinen als mittelalterliche Häuser. Straßenlaternen werden zu Fackeln. Ein moderner Park verwandelt sich in eine üppige, beinahe märchenhafte Landschaft. Fahrzeuge bleiben an exakt derselben Position und bewegen sich mit derselben Geschwindigkeit – erscheinen visuell aber als Objekte, die zum gewählten Stil passen.
Der reale Lieferwagen darf schließlich nicht verschwinden, nur weil er ästhetisch schlecht ins 14. Jahrhundert passt.
Ein anderer Benutzer könnte dieselbe Straße zur selben Zeit ganz anders sehen: neonfarben, geometrisch überzeichnet, irgendwo zwischen einer Spielhalle der 1980er und einer Zukunft, die man sich 1983 für das Jahr 2020 vorgestellt hätte.
Und das Prinzip funktioniert auch rückwärts. Wer durch eine historische Stadt läuft, könnte heutige Veränderungen ausblenden oder eine rekonstruierte frühere Bebauung sehen. Umgekehrt ließe sich an einem historischen Ort eine mögliche moderne Bebauung einblenden.
Der entscheidende Punkt ist: Alle diese Menschen befinden sich weiterhin in derselben physischen Welt.
Sie sehen lediglich unterschiedliche Renderings davon.
## Drei Ebenen statt einer Realität
Damit entsteht eine Trennung, die für solche Systeme zentral wäre:
physische Realität ≠ maschinelles Weltmodell ≠ wahrgenommene Darstellung
Die physische Realität enthält das tatsächlich vorhandene Auto.
Das Weltmodell enthält beispielsweise: Objektklasse Fahrzeug, Position, Abmessungen, Geschwindigkeit, Bewegungsrichtung und vielleicht eine Unsicherheitsschätzung.
Die Darstellung entscheidet schließlich, wie dieses Objekt für den Benutzer aussieht.
Diese drei Ebenen müssen nicht identisch sein.
Man könnte sagen: Die reale Welt wird zur Ground Truth für Position und Kausalität, während ihre sichtbare Oberfläche zum Rendering-Problem wird.
Das klingt zunächst nach einem subtilen Unterschied. Tatsächlich wäre es ein erheblicher Paradigmenwechsel.
## Die schwierige Hälfte ist nicht unbedingt das schöne Bild
Ein einzelnes überzeugendes KI-Bild zu generieren ist heute vergleichsweise einfach.
Eine glaubwürdige Welt zu generieren, während jemand sich frei darin bewegt, ist erheblich schwieriger.
Ein Baum darf nicht beim ersten Blick eine Eiche sein, beim Umdrehen plötzlich eine Birke und drei Sekunden später feststellen, dass er eigentlich eine Palme werden wollte.
Die virtuelle Darstellung eines realen Objekts braucht räumliche Persistenz.
Geht der Benutzer um den realen Baum herum, muss der dargestellte Baum aus jeder Perspektive geometrisch plausibel bleiben. Seine Äste müssen an denselben Stellen sitzen. Seine Verdeckung anderer Objekte muss stimmen. Schatten, Beleuchtung und Perspektive müssen zusammenpassen.
Dasselbe gilt noch stärker für Menschen. Eine Person darf nicht bei jedem Frame ein etwas anderes Gesicht erhalten. Kleidung, Körperform und Identität müssen stabil bleiben, auch bei teilweiser Verdeckung oder schnellen Bewegungen.
Dazu kommt eine wichtigere Anforderung: Sicherheit.
Treppenstufen, Bordsteinkanten, Baustellen, Autos, Fahrräder, Wände und Abgründe besitzen keine künstlerische Freiheit.
Ein generatives Modell darf nicht beschließen, einen Poller zu entfernen, weil die Komposition ohne ihn harmonischer wirkt.
Bei einem erzeugten Bild wäre das ein ästhetisches Detail. Bei einer AR-Brille könnte es die unmittelbar folgende Gesichtsbremse sein.
## Die eigentliche Pipeline
Sehr vereinfacht könnte ein solches System so aussehen:
Sensorwelt → räumlich-semantisches Weltmodell → generatives Rendering → Wahrnehmung
Die Sensorwelt liefert Rohdaten.
Das Weltmodell versucht daraus eine stabile Beschreibung der Umgebung zu erzeugen: Geometrie, Objektidentitäten, Bewegungen, Materialien, begehbare Flächen, Hindernisse und Beziehungen zwischen Dingen.
Das generative Rendering übersetzt anschließend dieses Modell in die gewünschte visuelle Welt.
Erst das Resultat erreicht den Benutzer.
Der Vergleich mit einem Computerspiel zeigt, warum der mittlere Schritt so entscheidend ist.
Eine Spiele-Engine kennt ihre Welt bereits. Sie weiß, wo eine Wand steht. Sie kennt die Geometrie eines Autos, dessen Geschwindigkeit und die Position aller Figuren. Motion Vectors und Tiefeninformationen können direkt aus der Engine kommen. Deshalb besitzen neuronale Rendering-Systeme dort eine ausgezeichnete strukturelle Grundlage.
Eine AR-Brille hat diesen Luxus nicht.
Sie sieht zunächst nur Messwerte.
Sie muss die Ground Truth, die eine Spiele-Engine bereits besitzt, aus der Welt rekonstruieren.
Und genau deshalb könnte langfristig nicht die Bildgenerierung der entscheidende Flaschenhals sein, sondern die zuverlässige Echtzeit-Weltmodellierung.
## Wenn Realität eine Benutzeroberfläche bekommt
Nimmt man dieses Gedankenexperiment ernst, entstehen Anwendungen, die über dekorative Fantasyfilter hinausgehen.
Historische Rekonstruktionen könnten direkt am realen Ort erscheinen. Man würde nicht auf einem Display sehen, wie ein Gebäude früher aussah, sondern könnte um seine rekonstruierte Fassade herumgehen und sie im tatsächlichen städtischen Kontext erleben.
Werbung und visuelle Unordnung könnten reduziert werden. Fassaden könnten individuell dargestellt werden. Navigation könnte irrelevante Strukturen optisch zurücknehmen und wichtige Wege, Eingänge oder Gefahren betonen.
Städte könnten spielerische Ebenen bekommen, die ihre reale Geometrie benutzen. Dieselbe physische Umgebung könnte verschiedene visuelle Themes besitzen: historisch, minimalistisch, fantastisch, informationsorientiert oder schlicht möglichst ruhig.
Und selbstverständlich folgt darauf sofort die weniger gemütliche Frage: Wer kontrolliert diese Oberfläche?
Darf ich die Fassade eines Gebäudes für mich beliebig verändern? Darf dessen Eigentümer verlangen, dass eine bestimmte virtuelle Darstellung verwendet wird? Kann ein Geschäft dafür bezahlen, dass es in meiner Wahrnehmung auffälliger erscheint? Darf meine Brille Werbung entfernen – oder blendet das Betriebssystem stattdessen eigene Werbung ein?
Was passiert mit gemeinsamen öffentlichen Räumen, wenn zwei Menschen nebeneinanderstehen, aber unterschiedliche visuelle Versionen dieses Ortes sehen?
Und welche Bestandteile müssen aus Sicherheitsgründen für alle unveränderlich bleiben?
Das sind keine Argumente dafür oder dagegen. Sie zeigen vielmehr, dass eine softwaredefinierte sichtbare Welt plötzlich Themen zusammenführt, die bisher getrennt wirkten: Computer Vision, generative Modelle, Betriebssysteme, Verkehrssicherheit, Eigentumsrecht, Werbung und öffentliche Raumgestaltung.
## Vielleicht ist „Augmented Reality“ der falsche Name
Heute klingt Augmented Reality nach Ergänzung.
Die Realität ist da, und Software legt etwas darauf.
Langfristig könnte das zu kurz gedacht sein.
Vielleicht ergänzen wir die sichtbare Welt irgendwann nicht mehr nur um digitale Objekte. Vielleicht wird das Kamerabild beziehungsweise die optisch vermittelte Umgebung selbst zu einer Art Rendering-Ziel.
Die reale Welt verschwindet dabei nicht. Im Gegenteil: Ihre präzise Erfassung wird wichtiger denn je. Sie bleibt die Ground Truth, die verhindert, dass wir durch Wände laufen, Autos übersehen oder eine Treppe für einen hübschen Teppich halten.
Aber zwischen dieser physischen Realität und unserer Wahrnehmung könnte eine zunehmend mächtige Softwareschicht entstehen.
Dann lautet die interessante Frage nicht, ob wir irgendwann „in einer Simulation leben“.
Sie ist wesentlich konkreter:
Was geschieht, wenn die physische Welt weiterhin real bleibt, ihre sichtbare Erscheinung aber zu einer Benutzeroberfläche wird?
Vielleicht heißt die langfristige Entwicklung deshalb irgendwann nicht mehr Augmented Reality.
Vielleicht beginnen wir schlicht, Realität zu rendern.