Компанія Nvidia представила GR00T 2 — нову модель штучного інтелекту для керування роботами, ключова відмінність якої полягає в тому, що вона вчиться не лише виконувати дії, а й передбачати, як навколишнє середовище зміниться в результаті цих дій. Саме ця здатність дозволяє переносити навички, показані людиною або іншим роботом, на машини з принципово іншою будовою. У випробуванні на 50 завданнях модель впоралася з 40% спроб без будь-яких попередніх демонстрацій на цільовому роботі; одна демонстрація на кожне завдання підняла успішність до 71%, а п'ять демонстрацій — до 95%. При цьому на адаптацію кожного завдання знадобилося менше трьох хвилин демонстраційних даних і близько 30 хвилин донавчання на одній відеокарті Nvidia RTX 5090.

Архітектура World-Action Model: прогноз світу і дії одночасно

В основі GR00T 2 лежить архітектура World-Action Model (WAM) — моделі, яка одночасно прогнозує майбутнє відео і дії робота. На вхід вона отримує останні кадри з камер, текстову інструкцію та відомості про стан машини, після чого генерує послідовність майбутніх зображень і відповідних рухів. Такий підхід дозволяє моделі осмислювати фізичні взаємодії, спостерігаючи не лише за роботами, а й за людьми. Загальна архітектура сумісна з маніпуляторами з паралельними захватами, робототехнічними кистями з рухомими пальцями та гуманоїдними платформами, а невеликі спеціалізовані модулі перетворюють загальний план на команди двигунам конкретної машини.

Навчальна вибірка: понад 400 тисяч годин людських відео

Для попереднього навчання Nvidia використала 402 730 годин відео від першої особи, на яких люди виконують різні робочі завдання, 10 184 години демонстрацій із ручним захватом UMI та 23 500 годин дистанційного керування роботами. Дані охоплюють маніпулятори YAM і Franka, робототехнічні кисті Sharpa і Wuji, а також гуманоїд Unitree G1; відео з людьми становлять основну частину навчальної вибірки. Компанія окремо перевірила їхній вплив на 72 завданнях для робота Dexter: при збільшенні частки людських матеріалів від 0 до 100% успішність у відеосимуляції зросла з 64% до 77%, а на реальному роботі — з 50% до 70%. Частину набору Human-1M, що включає 100 000 годин відео, Nvidia відкрила на платформі Hugging Face.

Перенос навичок: від відео з камери на голові до робототехнічних кистей

Один із головних результатів GR00T 2 — перенос навичок між різними типами роботів і людьми. Так, модель навчали лабораторним процедурам за відео, знятими з камер на голові та зап'ястях людини, а потім перевіряли на Dexter із двома робототехнічними кистями: у всіх чотирьох лабораторних завданнях робот домігся успіху, не отримуючи демонстрацій із дистанційним керуванням. В інших випробуваннях модель переносила навички, показані за допомогою ручного захвату UMI, на маніпулятор YAM, а демонстрації з носимого екзоскелета DexUMI — на робота Tianji з двома кистями ROBOTERA. Серед освоєних дій — сортування предметів на конвеєрі, збирання іграшок, робота з деталями, приготування сніданку та лабораторні процедури.

Спільна робота з міркувальною ШІ-моделлю

Окремо Nvidia показала, як GR00T 2 працює в зв'язці з міркувальною ШІ-моделлю: остання розбиває складне завдання на етапи, стежить за прогресом і визначає наступні кроки, а GR00T 2 відповідає за фізичне виконання дій, які складно заздалегідь запрограмувати. У випробуваннях із хаотично розкиданими деталями така система зібрала іграшковий літак, трактор і автомобіль Hot Wheels у 98, 97 і 97 випадках із 100; без допомоги агента та ж модель впоралася із завданнями у 71–84 випадках, а при використанні тільки попередньо донавчаної політики — у 23–69 випадках. В іншій серії випробувань спільна система підключила 5 мережевих кабелів до комутатора в 19 випадках із 20 і вставила 5 зарядних пристроїв у розетки у всіх 20 випадках. Візуальні підказки агента — позначення точки захвату та місця перенесення на зображенні — підвищили успішність коротких завдань переміщення з 40% до 92% на YAM і з 30% до 70% на Dexter.

GR00T 2 Turbo: затримка в десятки мілісекунд на борту робота

Одночасно Nvidia представила GR00T 2 Turbo — полегшену версію моделі, розраховану на роботу безпосередньо на роботі. Вона використовує трансформер на 2 млрд параметрів і більш компактне представлення відео, що знижує обчислювальні витрати; у поєднанні з оптимізацією виконання це скоротило медіанну затримку прогнозування на 66–86% порівняно зі звичайним запуском тієї ж моделі. На відеокарті RTX 5090 один прогноз займає 38 мс, а на бортовому комп'ютері Jetson Thor — 124 мс. Під час роботи на гуманоїді Unitree G1 модель планує рухи всього тіла блоками тривалістю 1,6 секунди приблизно раз на секунду, а контроллер SONIC перетворює їх на команди суглобам із частотою 50 Гц.