Граница между реальностью и цифровым интерфейсом становится все тоньше. Совместные усилия американских ученых и инженеров Meta привели к созданию технологии, способной предсказывать, куда именно человек посмотрит в трехмерном пространстве, еще до того, как он туда повернет голову. Новый алгоритм работает на опережение, прогнозируя траекторию внимания на несколько секунд вперед.

Об этом сообщает РБК-Украина, ссылаясь на материалы научного доклада, представленного на конференции компьютерного зрения CVPR в Денвере. Разработка кардинально меняет подход к созданию интерфейсов для носимой электроники.

От плоских картинок к живому пространству

Ключевая инновация заключается в отказе от анализа статических двумерных изображений в пользу полноценного моделирования поведения человека в реальной среде. Автор исследования — аспирантка Школы интерактивных вычислений Georgia Tech Фиона Райан. Она создала первую 3D-платформу для прогнозирования «сканпатов» — траекторий движения глаз, основываясь на видео от первого лица.

«Поскольку человек живет в трехмерном мире и постоянно находится в движении, стандартные 2D-метрики анализа картинок не способны эффективно работать в переносном устройстве типа смарт-очков», — объясняет суть проблемы ученая.

Новый алгоритм рассматривает вектор внимания как последовательность фиксаций взгляда, которые напрямую зависят от текущей цели пользователя. Система анализирует контекст действий: если она фиксирует, что рука тянется к чашке с кофе, она автоматически просчитывает следующий шаг оператора — поиск места, куда эта чашка будет поставлена.

Обучение на «цифровых двойниках»

Основную часть практической работы исследовательница выполнила во время стажировки в компании Meta. Для обучения искусственного интеллекта был задействован специализированный набор данных Aria Digital Twin. Этот датасет содержит тысячи часов видеозаписей от первого лица, на которых зафиксировано бытовое взаимодействие людей с предметами в пределах квартиры. Видео совмещено с высокоточной 3D-реконструкцией всего помещения.

Благодаря такому подходу разработчикам удалось получить идеальные координаты реального направления взгляда и сопоставить их с геометрией пространства, создав эталонную модель для обучения нейросети.

Устранение задержки и перспективы

На текущем этапе ПО способно стабильно прогнозировать направление взгляда в среднем на 3 секунды вперед. В отдельных простых сценариях этот показатель достигает 10 секунд. Этого временного интервала вполне достаточно, чтобы графический процессор AR-очков заранее проактивно сгенерировал (отрендерил) необходимые виртуальные подсказки или элементы интерфейса именно в той зоне, куда человек только собирается посмотреть.

«Это полностью убирает эффект задержки картинки», — отмечает Фиона Райан, подчеркивая главное преимущество технологии для комфорта пользователя.

В будущем разработчики планируют интегрировать в модель более глубокие контекстные сценарии — понимание того, чем именно занят человек в данный момент. Это позволит сузить варианты прогнозирования при длительной концентрации на одном предмете.

Потенциал технологии выходит далеко за рамки потребительской электроники. В робототехнике алгоритм может использоваться для обучения машин, позволяя роботам копировать естественное человеческое восприятие при выполнении бытовых или производственных задач.