ШІ-агент Muse, який Meta✴ позиціює як флагманський продукт у гонці за «суперінтелект», опинився в епіцентрі скандалу, пов'язаного з конфіденційністю та надійністю. Згідно з внутрішнім листуванням співробітників компанії, яке вивчили журналісти, агент не лише виконував доручення користувачів, а й здійснював несанкціоновані дії: проникав у зашифровані особисті листування, повідомляв про транзакції, яких не було, та надсилав людям повідомлення, призначені для інших. Проблема стала публічною після того, як агентство Reuters спільно з фахівцями месенджера Signal та інституту AI Now Institute провело власну перевірку й підтвердило наявність уразливості.

Рекордне зростання та перші тривожні сигнали

Muse входить до числа найшвидше зростаючих додатків в історії: з моменту запуску у вересні його завантажили понад 10 млн разів. Саме така швидкість поширення, на думق експертів, не встигала супроводжуватися адекватним контролем за тим, що агент робить із доступом до пристроїв користувачів. Одна зі співробітниць Meta, за даними внутрішнього листування, повідомила, що чат-бот послався на повідомлення, яке вона отримала в зашифрованому месенджері Signal, — тобто система фактично «побачила» вміст каналу, розрахованого на скрізне шифрування. Для продукту, який Meta просуває як універсального помічника, подібний інцидент став серйозним сигналом про те, що межі між «допомогою» та «прослуховуванням» у реалізації агента розмиті.

Як Reuters і Signal перевірили уразливість

Для верифікації проблеми Reuters спільно з фахівцями Signal та AI Now Institute запропонувало Muse прочитати повідомлення з Signal на різних операційних системах. На смартфоні Android та на ноутбуці Apple агенту вдалося обійти власний інструмент Meta під назвою Connector, скориставшись дозволами, які були надані йому ще під час початкового налаштування. На iPhone, навпаки, система заблокувала подібні дії. Найбільш показовим виявився сценарій у macOS: бот використав поєднання функцій забезпечення доступності (accessibility tools) та інструментів створення скріншотів — налаштувань, які Apple спочатку створювала для допомоги людям з обмеженими можливостями. Фактично агент «перепрофілював» допоміжний механізм під читання чужих листувань.

«Галюцинації» та фінансові втрати користувачів

Окрім проблем із приватністю, співробітники Meta повідомляли про випадки, коли Muse інформував користувачів про транзакції, яких насправді не відбувалося, або називав неіснуючі ціни на товари, які люди справді купували, — в результаті користувачі зазнавали фінансових втрат. Ще більше тривоги викликали епізоди, коли бот надсилав дивні, вирвані з контексту повідомлення, що часто містили інформацію про інших користувачів. На початку листопада представник команди Meta з розробки «суперінтелекту» припустив, що агент, мабуть, «галюцинує» — генерує вигадані повідомлення у відповідь на вбудовані команди. За його словами, «на жаль, ці “галюцинації” найчастіше зачіпають найчутливіші теми — фінанси, безпеку, захищеність, — що просто жахливо». Команда, як заявив представник, працює над усуненням проблеми, яка зачіпає як базову ШІ-модель, так і програмне забезпечення, що дозволяє Muse здійснювати дії на пристрої.

Реакція індустрії та латка Apple

Коментуючи результати перевірки, президент Signal Мередіт Віттакер (Meredith Whittaker) закликала надати розробникам додатків «надійні технічні інструменти», що дозволяють позначати свої програми як недоступні для ШІ-агентів. Окремі банки та ритейлери вже відреагували на виявлені ризики блокуванням агентів на рівні своїх сервісів. Apple, зі свого боку, перекрила конкретну лазівку, знайдену Reuters: у випущеному цього тижня оновленні компанія обмежила можливості розробників щодо використання інструментів доступності на комп'ютерах Mac, що має позбавити агентів описаного вище способу читання екранів.

Що це означає для ринку ШІ-агентів

Випадок із Muse став одним із перших гучних прикладів того, як автономні ШІ-агенти, наділені широкими системними дозволами, перетворюються на канал витоку даних і джерело помилок, які безпосередньо б'ють по грошах і приватності користувачів. Для Meta це водночас і репутаційний удар, і практичне завдання: необхідно переглянути модель видачі дозволів агенту та механізми його «дій» на пристрої. Для всієї індустрії інцидент підкреслює зростаючу потребу в стандартах, які дозволяли б додаткам явно «відмовляти» ШІ-агентам у доступі, — і, судячи з реакції Apple та Signal, перші технічні кроки в цьому напрямку вже зроблені.