Die Grenze zwischen Realität und digitalem Interface wird immer dünner. Die gemeinsamen Bemühungen amerikanischer Wissenschaftler und von Meta-Ingenieuren haben zu einer Technologie geführt, die vorhersagen kann, wohin ein Mensch im dreidimensionalen Raum schauen wird, noch bevor er den Kopf in diese Richtung dreht. Der neue Algorithmus arbeitet im Voraus und prognostiziert die Aufmerksamkeitsbahn für mehrere Sekunden.

Dies meldet RBK-Ukraine unter Bezugnahme auf die Materialien eines wissenschaftlichen Berichts, der auf der Konferenz für Computer Vision CVPR in Denver vorgestellt wurde. Die Entwicklung verändert den Ansatz zur Erstellung von Schnittstellen für Wearables grundlegend.

Von flachen Bildern zum lebendigen Raum

Die Schlüsselinnovation besteht in der Abkehr von der Analyse statischer zweidimensionaler Bilder zugunsten einer vollständigen Modellierung des menschlichen Verhaltens in der realen Umgebung. Autorin der Studie ist die Doktorandin Fiona Ryan von der School of Interactive Computing der Georgia Tech. Sie hat die erste 3D-Plattform zur Vorhersage von „Scanpaths“ – den Blickbewegungsbahnen – entwickelt, basierend auf Videos aus der Ich-Perspektive.

„Da der Mensch in einer dreidimensionalen Welt lebt und sich ständig bewegt, sind Standard-2D-Metriken zur Bildanalyse nicht in der Lage, in tragbaren Geräten wie Smart-Glasen effektiv zu arbeiten“, erklärt die Wissenschaftlerin das Kernproblem.

Der neue Algorithmus betrachtet den Aufmerksamkeitsvektor als eine Folge von Blickfixierungen, die direkt von der aktuellen Zielsetzung des Benutzers abhängen. Das System analysiert den Kontext der Aktionen: Wenn es feststellt, dass sich eine Hand nach einer Tasse Kaffee ausstreckt, berechnet es automatisch den nächsten Schritt des Bedieners – die Suche nach einem Platz, an dem diese Tasse abgestellt wird.

Ausbildung mit „digitalen Zwillingen“

Den Großteil der praktischen Arbeit hat die Forscherin während eines Praktikums bei Meta durchgeführt. Zum Training der Künstlichen Intelligenz wurde ein spezialisierter Datensatz namens Aria Digital Twin verwendet. Dieser Datensatz enthält Tausende von Stunden Videomaterial aus der Ich-Perspektive, auf denen die alltägliche Interaktion von Menschen mit Gegenständen innerhalb einer Wohnung festgehalten wurde. Das Video ist mit einer hochpräzisen 3D-Rekonstruktion des gesamten Raumes kombiniert.

Dank dieses Ansatzes gelang es den Entwicklern, die idealen Koordinaten der tatsächlichen Blickrichtung zu erhalten und diese mit der Geometrie des Raums abzugleichen, wodurch eine Referenzmodell für das Training des neuronalen Netzes entstand.

Eliminierung der Latenz und Ausblick

Im aktuellen Stadium kann die Software die Blickrichtung im Durchschnitt stabil für 3 Sekunden im Voraus vorhersagen. In einzelnen einfachen Szenarien erreicht dieser Wert 10 Sekunden. Dieser Zeitintervall reicht völlig aus, damit die Grafikeinheit der AR-Brillen die erforderlichen virtuellen Hinweise oder Interface-Elemente proaktiv in genau dem Bereich generiert (rendert), in den der Mensch gleich schauen wird.

„Das eliminiert den Effekt der Bildverzögerung vollständig“, betont Fiona Ryan und hebt den Hauptvorteil der Technologie für den Benutzerkomfort hervor.

In Zukunft planen die Entwickler, tiefere kontextuelle Szenarien in das Modell zu integrieren – das Verständnis dafür, womit sich der Mensch gerade beschäftigt. Dies wird es ermöglichen, die Vorhersagevarianten bei längerer Konzentration auf ein einzelnes Objekt einzugrenzen.

Das Potenzial der Technologie geht weit über die Unterhaltungselektronik hinaus. In der Robotik kann der Algorithmus zum Training von Maschinen verwendet werden, wodurch Roboter die natürliche menschliche Wahrnehmung bei der Ausführung von Haushalts- oder Produktionsaufgaben kopieren können.