Nvidia stellt GR00T 2 vor: KI-Modell, das Robotern menschliche Fähigkeiten per Video beibringt

Nvidia hat GR00T 2 vorgestellt, ein neues KI-Modell zur Robotersteuerung, dessen Hauptmerkmal darin besteht, dass es nicht nur lernt, Aktionen auszuführen, sondern auch vorherzusagen, wie sich die Umgebung infolge dieser Aktionen verändern wird. Genau diese Fähigkeit ermöglicht es, Fähigkeiten, die von einem Menschen oder einem anderen Roboter gezeigt wurden, auf Maschinen mit völlig anderer Hardware-Architektur zu übertragen. In einem Test über 50 Aufgaben hinweg bewältigte das Modell 40% der Versuche ohne jegliche vorherige Demonstration auf dem Zielroboter; eine einzige Demonstration pro Aufgabe steigerte die Erfolgsquote auf 71% und fünf Demonstrationen auf 95%. Dabei erforderte die Anpassung an jede Aufgabe weniger als drei Minuten Demonstrationsdaten und etwa 30 Minuten Feintuning auf einer einzigen Nvidia RTX 5090 Grafikkarte.

World-Action Model Architektur: Weltvorhersage und Aktion in einem

Das Fundament von GR00T 2 bildet die World-Action Model (WAM) Architektur, die gleichzeitig zukünftige Videos und Roboteraktionen vorhersagt. Als Eingabe erhält sie die neuesten Kamerabilder, eine Textanweisung sowie Informationen zum Maschinenzustand und generiert daraufhin eine Sequenz zukünftiger Bilder und entsprechender Bewegungen. Dieser Ansatz versetzt das Modell in die Lage, physikalische Interaktionen zu verstehen, indem es nicht nur Roboter, sondern auch Menschen beobachtet. Die Gesamtarchitektur ist kompatibel mit Parallelgreifer-Manipulatoren, gelenkigen Roboterhänden und humanoiden Plattformen, während kleine Spezialmodule den Gesamtplan in Motorbefehle für eine bestimmte Maschine übersetzen.

Trainingsdatensatz: Über 400.000 Stunden menschlicher Videos

Für das Vortraining nutzte Nvidia 402.730 Stunden Ego-Perspektive-Videos, in denen Menschen verschiedene Arbeitsaufgaben ausführen, 10.184 Stunden Demonstrationen mit UMI-Handgreifern und 23.500 Stunden Roboter-Teleoperation. Die Daten umfassen YAM- und Franka-Manipulatoren, Sharpa- und Wuji-Roboterhände sowie den humanoiden Unitree G1; menschliche Videos machen den Hauptteil des Trainingsdatensatzes aus. Das Unternehmen überprüfte deren Einfluss gesondert an 72 Aufgaben für den Dexter-Roboter: Bei einer Erhöhung des Anteils menschlicher Materialien von 0 auf 100% stieg die Erfolgsquote in der Videosimulation von 64% auf 77% und beim realen Roboter von 50% auf 70%. Einen Teil des Human-1M-Datensatzes mit 100.000 Stunden Video hat Nvidia auf Hugging Face veröffentlicht.

Fähigkeitstransfer: Von Kopfkamera-Videos zu Roboterhänden

Eines der wichtigsten Resultate von GR00T 2 ist der Fähigkeitstransfer zwischen verschiedenen Robotertypen und Menschen. So wurde das Modell anhand von Videos, die mit an Kopf und Handgelenken angebrachten Kameras von Menschen aufgenommen wurden, in Laborprozeduren trainiert und anschließend an Dexter mit zwei Roboterhänden getestet: Bei allen vier Laboraufgaben war der Roboter erfolgreich, ohne jemals Teleoperations-Demonstrationen erhalten zu haben. In anderen Tests übertrug das Modell Fähigkeiten, die über manuelle UMI-Eingaben gezeigt wurden, auf den YAM-Manipulatoren sowie Demonstrationen aus dem tragbaren Exoskelett DexUMI auf den Tianji-Roboter mit zwei ROBOTERA-Händen. Zu den beherrschten Handlungen gehören das Sortieren von Gegenständen auf einem Förderband, das Zusammenbauen von Spielzeug, die Teilehandhabung, das Zubereiten von Frühstück und Laborprozeduren.

Zusammenarbeit mit einem schlussfolgernden KI-Modell

Zudem demonstrierte Nvidia, wie GR00T 2 im Zusammenspiel mit einem schlussfolgernden KI-Modell arbeitet: Letzteres unterteilt eine komplexe Aufgabe in einzelne Schritte, überwacht den Fortschritt und bestimmt die nächsten Aktionen, während GR00T 2 für die physische Ausführung von Handlungen verantwortlich ist, die sich nur schwer im Voraus programmieren lassen. In Tests mit ungeordnet verstreuten Teilen setzte dieses System ein Spielzeugflugzeug, einen Traktor und ein Hot-Wheels-Auto in 98, 97 bzw. 97 von 100 Fällen zusammen; ohne die Hilfe des Agenten bewältigte dasselbe Modell die Aufgaben in 71–84 Fällen und bei alleiniger Nutzung der vortrainierten Policy in 23–69 Fällen. In einer anderen Versuchsreihe schloss das kombinierte System 5 Netzwerkkabel in 19 von 20 Fällen an einen Switch an und steckte 5 Ladegeräte in allen 20 Fällen in Steckdosen. Visuelle Hinweise des Agenten — die Markierung von Greifpunkt und Ablageort im Bild — erhöhten die Erfolgsquote kurzer Transportaufgaben von 40% auf 92% bei YAM und von 30% auf 70% bei Dexter.

GR00T 2 Turbo: Millisekunden-Latenz direkt an Bord des Roboters

Parallel dazu präsentierte Nvidia GR00T 2 Turbo, eine schlankere Version des Modell, die für den direkten Betrieb an Bord eines Roboters ausgelegt ist. Sie nutzt einen Transformer mit 2 Milliarden Parametern und eine kompaktere Videorepräsentation, was den Rechenaufwand senkt; in Kombination mit Ausführungsoptimierungen reduzierte dies die mediane Vorhersagelatenz im Vergleich zum Standardlauf um 66–86%. Auf einer RTX 5090 GPU dauert eine Vorhersage 38 ms, auf dem Bordcomputer Jetson Thor 124 ms. Beim Betrieb auf dem humanoiden Unitree G1 plant das Modell Ganzkörperbewegungen in Blöcken von 1,6 Sekunden Länge etwa einmal pro Sekunde, während der SONIC-Controller diese mit einer Frequenz von 50 Hz in Gelenkbefehle umwandelt.