Межа між реальністю та цифровим інтерфейсом стає все тоншою. Спільні зусилля американських вчених та інженерів Meta призвели до створення технології, здатної передбачати, куди саме людина подивиться у тривимірному просторі, ще до того, як вона поверне туди голову. Новий алгоритм працює на випередження, прогнозуючи траєкторію уваги на кілька секунд наперед.
Про це повідомляє РБК-Україна, посилаючись на матеріали наукової доповіді, презентованої на конференції з комп'ютерного зору CVPR у Денвері. Розробка кардинально змінює підхід до створення інтерфейсів для носимого електронного обладнання.
Від плоских зображень до живого простору
Ключова інновація полягає у відмові від аналізу статичних двовимірних зображень на користь повноцінного моделювання поведінки людини в реальному середовищі. Автор дослідження — аспірантка Школи інтерактивних обчислень Georgia Tech Фіона Райан. Вона створила першу 3D-платформу для прогнозування «сканпатов» — траєкторій руху очей, спираючись на відео від першої особи.
«Оскільки людина живе у тривимірному світі і постійно перебуває в русі, стандартні 2D-метрики аналізу зображень не здатні ефективно працювати в переносному пристрої типу смарт-очок», — пояснює суть проблеми вчена.
Новий алгоритм розглядає вектор уваги як послідовність фіксацій погляду, які безпосередньо залежать від поточної мети користувача. Система аналізує контекст дій: якщо вона фіксує, що рука тягнеться до чашки з кавою, вона автоматично розраховує наступний крок оператора — пошук місця, куди ця чашка буде поставлена.
Навчання на «цифрових двійниках»
Основну частину практичної роботи дослідниця виконала під час стажування в компанії Meta. Для навчання штучного інтелекту було залучено спеціалізований набір даних Aria Digital Twin. Цей датасет містить тисячі годин відеозаписів від першої особи, на яких зафіксовано побутове взаємодію людей з предметами в межах квартири. Відео поєднано з високоточною 3D-реконструкцією всього приміщення.
Завдяки такому підходу розробникам вдалося отримати ідеальні координати реального напрямку погляду та зіставити їх із геометрією простору, створивши еталонну модель для навчання нейронної мережі.
Усунення затримки та перспективи
На поточному етапі ПЗ здатне стабільно прогнозувати напрямок погляду в середньому на 3 секунди наперед. У окремих простих сценаріях цей показник досягає 10 секунд. Цього часового інтервалу цілком достатньо, щоб графічний процесор AR-очок заздалегідь проактивно згенерував (відрендерив) необхідні віртуальні підказки або елементи інтерфейсу саме в тій зоні, куди людина тільки збирається подивитися.
«Це повністю усуває ефект затримки зображення», — зазначає Фіона Райан, підкреслюючи головну перевагу технології для комфорту користувача.
У майбутньому розробники планують інтегрувати в модель більш глибокі контекстні сценарії — розуміння того, чим саме зайнята людина в даний момент. Це дозволить звузити варіанти прогнозування при тривалій концентрації на одному предметі.
Потенціал технології виходить далеко за межі споживчої електроніки. У робототехніці алгоритм може використовуватися для навчання машин, дозволяючи роботам копіювати природне людське сприйняття під час виконання побутових або виробничих завдань.