Компания Nvidia представила GR00T 2 — новую модель искусственного интеллекта для управления роботами, ключевое отличие которой состоит в том, что она учится не только выполнять действия, но и предсказывать, как окружающая среда изменится в результате этих действий. Именно эта способность позволяет переносить навыки, показанные человеком или другим роботом, на машины с принципиально иным устройством. В испытании на 50 задачах модель справилась с 40% попыток без каких-либо предварительных демонстраций на целевом роботе; одна демонстрация на каждую задачу подняла успешность до 71%, а пять демонстраций — до 95%. При этом на адаптацию каждой задачи потребовалось менее трёх минут демонстрационных данных и около 30 минут дообучения на одной видеокарте Nvidia RTX 5090.

Архитектура World-Action Model: прогноз мира и действия одновременно

В основе GR00T 2 лежит архитектура World-Action Model (WAM) — модели, которая одновременно прогнозирует будущее видео и действия робота. На вход она получает последние кадры с камер, текстовую инструкцию и сведения о состоянии машины, после чего генерирует последовательность будущих изображений и соответствующих движений. Такой подход позволяет модели осмыслять физические взаимодействия, наблюдая не только за роботами, но и за людьми. Общая архитектура совместима с манипуляторами с параллельными захватами, роботизированными кистями с подвижными пальцами и гуманоидными платформами, а небольшие специализированные модули преобразуют общий план в команды двигателям конкретной машины.

Обучающая выборка: более 400 тысяч часов человеческих видео

Для предварительного обучения Nvidia использовала 402 730 часов видео от первого лица, на которых люди выполняют различные рабочие задачи, 10 184 часа демонстраций с ручным захватом UMI и 23 500 часов дистанционного управления роботами. Данные охватывают манипуляторы YAM и Franka, роботизированные кисти Sharpa и Wuji, а также гуманоид Unitree G1; видео с людьми составляют основную часть обучающей выборки. Компания отдельно проверила их влияние на 72 задачах для робота Dexter: при увеличении доли человеческих материалов от 0 до 100% успешность в видеосимуляции выросла с 64% до 77%, а на реальном роботе — с 50% до 70%. Часть набора Human-1M, включающая 100 000 часов видео, Nvidia открыла на платформе Hugging Face.

Перенос навыков: от видео с камеры на голове к роботизированным кистям

Один из главных результатов GR00T 2 — перенос навыков между разными типами роботов и людьми. Так, модель обучали лабораторным процедурам по видео, снятым с камер на голове и запястьях человека, а затем проверяли на Dexter с двумя роботизированными кистями: во всех четырёх лабораторных задачах робот добился успеха, не получая демонстраций с дистанционным управлением. В других испытаниях модель переносила навыки, показанные с помощью ручного захвата UMI, на манипулятор YAM, а демонстрации с носимого экзоскелета DexUMI — на робота Tianji с двумя кистями ROBOTERA. Среди освоенных действий — сортировка предметов на конвейере, сборка игрушек, работа с деталями, приготовление завтрака и лабораторные процедуры.

Совместная работа с рассуждающей ИИ-моделью

Отдельно Nvidia показала, как GR00T 2 работает в связке с рассуждающей ИИ-моделью: последняя разбивает сложную задачу на этапы, следит за прогрессом и определяет следующие шаги, а GR00T 2 отвечает за физическое выполнение действий, которые сложно заранее запрограммировать. В испытаниях с беспорядочно разбросанными деталями такая система собрала игрушечный самолёт, трактор и автомобиль Hot Wheels в 98, 97 и 97 случаях из 100; без помощи агента та же модель справилась с задачами в 71–84 случаях, а при использовании только предварительно дообученной политики — в 23–69 случаях. В другой серии испытаний совместная система подключила 5 сетевых кабелей к коммутатору в 19 случаях из 20 и вставила 5 зарядных устройств в розетки во всех 20 случаях. Визуальные подсказки агента — отметка точки захвата и места переноса на изображении — повысили успешность коротких задач перемещения с 40% до 92% на YAM и с 30% до 70% на Dexter.

GR00T 2 Turbo: задержка в десятки миллисекунд на борту робота

Одновременно Nvidia представила GR00T 2 Turbo — облегчённую версию модели, рассчитанную на работу непосредственно на роботе. Она использует трансформер на 2 млрд параметров и более компактное представление видео, что снижает вычислительные затраты; в сочетании с оптимизацией выполнения это сократило медианную задержку прогнозирования на 66–86% по сравнению с обычным запуском той же модели. На видеокарте RTX 5090 один прогноз занимает 38 мс, а на бортовом компьютере Jetson Thor — 124 мс. При работе на гуманоиде Unitree G1 модель планирует движения всего тела блоками продолжительностью 1,6 секунды примерно раз в секунду, а контроллер SONIC преобразует их в команды суставам с частотой 50 Гц.