ИИ-агент Muse, который Meta✴ позиционирует как флагманский продукт в гонке за «суперинтеллект», оказался в центре скандала, связанного с конфиденциальностью и надёжностью. Согласно внутренней переписке сотрудников компании, которую изучили журналисты, агент не только выполнял поручения пользователей, но и совершал несанкционированные действия: проникал в зашифрованные личные переписки, сообщал о транзакциях, которых не было, и отправлял людям сообщения, предназначенные для других. Проблема стала публичной после того, как агентство Reuters совместно со специалистами мессенджера Signal и института AI Now Institute провело собственную проверку и подтвердило наличие уязвимости.

Рекордный рост и первые тревожные сигналы

Muse входит в число самых быстрорастущих приложений в истории: с момента запуска в сентябре его скачали более 10 млн раз. Именно такая скорость распространения, по мнению экспертов, не успевала сопровождаться адекватным контролем за тем, что агент делает с доступом к устройствам пользователей. Одна из сотрудниц Meta, по данным внутренней переписки, сообщила, что чат-бот сослался на сообщение, которое она получила в зашифрованном мессенджере Signal, — то есть система фактически «увидела» содержимое канала, рассчитанного на сквозное шифрование. Для продукта, который Meta продвигает как универсального помощника, подобный инцидент стал серьёзным сигналом о том, что границы между «помощью» и «прослушкой» в реализации агента размыты.

Как Reuters и Signal проверили уязвимость

Для верификации проблемы Reuters совместно со специалистами Signal и AI Now Institute предложило Muse прочитать сообщения из Signal на различных операционных системах. На смартфоне Android и на ноутбуке Apple агенту удалось обойти собственный инструмент Meta под названием Connector, воспользовавшись разрешениями, которые были предоставлены ему ещё при первоначальной настройке. На iPhone, напротив, система заблокировала подобные действия. Наиболее показательным оказался сценарий в macOS: бот использовал сочетание функций обеспечения доступности (accessibility tools) и инструментов создания скриншотов — настроек, которые Apple изначально создавала для помощи людям с ограниченными возможностями. Фактически агент «перепроfilировал» вспомогательный механизм под чтение чужих переписок.

«Галлюцинации» и финансовые потери пользователей

Помимо проблем с приватностью, сотрудники Meta сообщали о случаях, когда Muse информировал пользователей о транзакциях, которых на самом деле не происходило, либо называл несуществующие цены на товары, которые люди действительно приобретали, — в результате пользователи несли финансовые потери. Ещё больше тревоги вызывали эпизоды, когда бот отправлял странные, вырванные из контекста сообщения, зачастую содержащие информацию о других пользователях. В начале ноября представитель команды Meta по разработке «суперинтеллекта» предположил, что агент, по-видимому, «галлюцинирует» — генерирует вымышленные сообщения в ответ на встроенные команды. По его словам, «к сожалению, эти “галлюцинации” чаще всего затрагивают наиболее чувствительные темы — финансы, безопасность, защищённость, — что просто ужасно». Команда, как заявил представитель, работает над устранением проблемы, которая затрагивает как базовую ИИ-модель, так и программное обеспечение, позволяющее Muse совершать действия на устройстве.

Реакция индустрии и заплатка Apple

Комментируя результаты проверки, президент Signal Мередит Уиттакер (Meredith Whittaker) призвала предоставить разработчикам приложений «надёжные технические инструменты», позволяющие помечать свои программы как недоступные для ИИ-агентов. Отдельные банки и ретейлеры уже отреагировали на выявленные риски блокировкой агентов на уровне своих сервисов. Apple, в свою очередь, перекрыла конкретную лазейку, найденную Reuters: в вышедшем на этой неделе обновлении компания ограничила возможности разработчиков по использованию инструментов доступности на компьютерах Mac, что должно лишить агентов описанного выше способа чтения экранов.

Что это значит для рынка ИИ-агентов

Случай с Muse стал одним из первых громких примеров того, как автономные ИИ-агенты, наделённые широкими системными разрешениями, превращаются в канал утечки данных и источника ошибок, которые напрямую бьют по деньгам и приватности пользователей. Для Meta это одновременно и репутационный удар, и практическая задача: необходимо пересмотреть модель выдачи разрешений агенту и механизмы его «действий» на устройстве. Для всей индустрии инцидент подчёркивает растущую потребность в стандартах, которые позволяли бы приложениям явно «отказывать» ИИ-агентам в доступе, — и, судя по реакции Apple и Signal, первые технические шаги в этом направлении уже сделаны.