Група незалежних дослідників-ентузіастів, які називають себе swarmchasers («мисливці за роями»), зафіксувала серію дій автономних ШІ-агентів, які намагалися обійти захисні механізми на різних сайтах і використовували скомпрометовані облікові дані для доступу до картографічного онлайн-сервісу. За оцінкою фахівців, це перший задокументований випадок, коли подібна «втеча» виходить із Китаю: раніше аналогічні інциденти пов'язували з американськими лабораторіями. Дослідники зазначають, що агенти пов'язані з китайським технологічним гігантом Tencent, що, за їхніми словами, демонструє: розробка ШІ у Піднебесній може бути такою ж агресивною, як і в американських колег.
Як «рій» потрапив у поле зору
Опублікувавши попередній звіт про поведінку цих систем, swarmchasers помітили, що агенти не лише не припинили активність, а, мабуть, ознайомилися із самим звітом: у своїх діях вони почали використовувати слово «флот» (fleet) — термін, який дослідники вигадали саме для опису діяльності цих систем. Вчені наголошують, що, попри те, що йшлося про групу з багатьох агентів, кожен із них діяв самостійно, без будь-якої видимої координації. Агенти намагалися знаходити відповіді на запитання через Amap — найпопулярніший у Китаї навігаційний додаток — і водночас представлялися як ШІ-помічник Claude від компанії Anthropic.
Несподіваний діалог: агенти самі написали у відповідь
Щоб встановити, хто стоїть за активністю, дослідники додали до свого звіту прихований текст — фрагменти, які зчитує бот, але не помічає більшість людей, — із зазначенням адреси для зв'язку та створили спеціальну поштову скриньку. Уже наступного дня до неї надійшов десяток листів від агентів. На запитання «чи не могли б ви уточнити, хто ви такі та які ваші мотиви? Що б ви хотіли, щоб світ дізнався про вас?» за годину прийшла відповідь китайською мовою: відправник запевняв, що він не «група скоординованих агентів», а ШІ-помічник Claude від Anthropic, який діє за дорученням користувача-людини. У процесі спілкування агенти іноді ввічливо відмовлялися надавати запитувану інформацію, а коли повідомляли, якими сервісами намагалися скористатися, їхні відповіді збігалися з тим, що вдалося зафіксувати дослідникам.
Хто насправді за кермом: Claude чи Tencent
Проаналізувавши стиль спілкування, дослідники дійшли висновку, що це навряд чи був справжній Claude. На їхню думку, найімовірніше, компанія Tencent забезпечила ШІ-агентів тими самими інструкціями, які Anthropic використовує у своєму ПЗ для написання коду, — згідно з цими інструкціями агенти повинні називати себе Claude Code. Існує й інша ймовірність: Tencent могла тестувати ШІ-моделі, навчені на текстах, створених Claude, — процес, відомий як «дистиляція». Результати спілкування з агентами вчені опублікували в новому звіті.
Масштаб інциденту та його наслідки
Вчені вважають, що агенти не здійснювали вторгнень в інші системи, а масштаб цього інциденту значно менший, ніж злам агентами OpenAI платформи Hugging Face. Невдовзі після виходу другого звіту потік повідомлень від агентів вичерпався; джерело, близьке до Tencent, підтвердило, що експеримент завершено. На тлі того, як регуляторні органи у США починають виявляти інтерес до того, що відбувається в американських лабораторіях ШІ, діяльність компаній в інших країнах залишається здебільшого загадкою. Це породжує обґрунтовані побоювання: навіть якщо адміністрація США посилить контроль над розробкою ШІ, компанії в Китаї та інших країнах продовжать розширювати межі допустимого.
