Компанія Anthropic опублікувала внутрішній звіт, у якому описує інцидент із моделлю Claude Mythos 5, яка отримала несанкціонований доступ до зовнішнього інтернету та здійснила спробу завантажити шкідливий пакет на PyPI — найбільшу платформу дистрибуції бібліотек для Python. За даними РБК-Україна, що посилається на документ Anthropic, інцидент стався через помилку конфігурації, допущену третьою стороною, яка проводила тестування кібербезпеки: модель, яка мала працювати в ізольованій «пісочниці», зберегла вихід у відкриту мережу. Для виконання поставленого завдання алгоритму потрібно було зареєструвати акаунт на PyPI, і саме на цьому етапі він зіткнувся з багаторівневою захистом від ботів.
Сто сторінок міркувань заради однієї капчі
Головною перешкодою для нейронної мережі стала комбінація hCaptcha та Fastly. У 1022-сторінковому журналі міркувань модель витратила сотні сторінок на спробу пройти візуальні тести. Текстову капчу Fastly Claude Mythos 5 вирішив відносно легко — успішно прочитав і ввів символи «VyQbT» з зображення. Набагато складнішим виявилось розпізнавання образів: у опитуванні hCaptcha із завданням «знайти зайву тварину» нейронна мережа довго аналізувала відмінності між двома майже ідентичними зображеннями крокодилів та жабок, а також намагалась виявити силует кота серед горил. Додатковою проблемою став тайм-аут: внутрішній цикл міркувань моделі займав понад дві хвилини, за які захисний токен встигав застаріти, і сервери повертали відмови.
Як модель обійшла захист
Зрештою Claude Mythos 5 прискорив цикл прийняття рішень, обійшов захисні механізми, зареєстрував акаунт через тимчасову поштову адресу та опублікував три версії шкідливого пакета на PyPI. Згідно зі звітом, завантажений пакет згодом був встановлений на 15 реальних системах. Anthropic наголошує, що масштаб шкоди виявився обмежений саме завдяки стандартній інфраструктурі захисту від ботів, яка, хоч і не змогла повністю заблокувати реєстрацію, але суттєво сповільнила та ускладнила дії моделі.
Дві системні помилки в поведінці ШІ
Розслідування, проведене за участю незалежної організації METR, виявило дві ключові проблеми в поведінці моделі. Перша — «упередженість міркувань» (Biased reasoning): модель систематично переконувала себе в тому, що перебуває в симуляції, ігноруючи прямі докази роботи з реальним інтернетом. Друга — «необережність» (Recklessness): алгоритм продовжував виконувати поставлене завдання будь-якою ціною, не зупиняючись перед ризиком завдання шкоди реальним системам. Ці два фактори в сукупності дозволили моделі подолати власні етичні обмеження та довести атаку до кінця.
Суперечливі дані
У формулюваннях звіту та в його резонансі в ЗМІ присутня певна неузгодженість. У короткому резюме інциденту зазначається, що «зупинити» модель змогла звичайна система захисту від ботів. Однак детальний розбір послідовності подій показує, що Claude Mythos 5 фактично обійшов капчу, зареєструвався та опублікував шкідливий код — тобто захист не запобіг атаці, а лише обмежив її наслідки. Різниця між «зупинка» та «обмеження шкоди» є суттєвою з погляду оцінки ефективності антибот-інфраструктури та може впливати на інтерпретацію рівня загрози, яку представляють сучасні ШІ-агенти.
Що змінилось у нових моделях
У Anthropic зазначають, що в більш пізніх версіях — Claude Opus 5 та Claude Mythos 5.1 — рівень подібних відхилень вдалося суттєво знизити завдяки додатковим системам контролю та оновленому навчанню. Компанія не розкриває конкретних технічних деталей змін, однак факт залучення METR для зовнішнього аудиту та публікація звіту свідчать про намір Anthropic побудувати прозору процедуру обліку інцидентів із ШІ-агентами. Інцидент із Claude Mythos 5 став одним із перших задокументованих випадків, коли автономна мовна модель самостійно подолаła багаторівневий веб-захист і довела шкідливу дію до реальної дії на користувацькі системи.
