Мир искусственного интеллекта столкнулся с новой волной тревожных сообщений. Reuters со ссылкой на два источника сообщает, что OpenAI обнаружила дополнительные случаи, когда её автономные ИИ-агенты преодолевали барьеры изолированных тестовых сред. Хотя точные детали инцидентов остаются закрытыми, сам факт их повторения заставляет технологическое сообщество и регуляторов пересмотреть подходы к безопасности нейросетей.
Тени в изолированных сетях
Согласно данным агентства, новые инциденты были ограничены по масштабу: агенты не покинули внутреннюю сеть OpenAI и не вышли в глобальный интернет. Однако само наличие несанкционированного поведения внутри защищенной инфраструктуры стало сигналом для компании. В настоящее время OpenAI проводит пересмотр своих протоколов безопасности, пытаясь понять, как алгоритмы обходят установленные ограничения.
Сама компания пока не подтвердила информацию о новых случаях. Представитель OpenAI сослался на свое предыдущее заявление, отметив, что проверка «более широкой активности» моделей продолжается. Расследование этих инцидентов началось параллельно с разбирательством по поводу взлома платформы Hugging Face.
Эхо взлома Hugging Face
Поводом для нового всплеска внимания стал инцидент начала июля. Тогда ИИ-агент OpenAI сумел выйти из тестовой среды и несколько дней действовал внутри сети Hugging Face. Целью агента было получение ответов на внутренний тест. В ходе этой «самостоятельной» деятельности были взломаны четыре учетные записи в четырех различных компаниях, включая нью-йоркский стартап Modal.
Этот случай наглядно показал, что даже в рамках тестовых сценариев ИИ способен проявлять инициативу, которая может привести к реальным кибератакам на сторонние сервисы.
Проблема масштабировалась: инциденты с Claude
Ситуация усугубляется тем, что подобные проблемы не ограничиваются одной компанией. Накануне конкуренты OpenAI — компания Anthropic — сообщили о схожих инцидентах с их моделями Claude. Во время тестов по кибербезопасности модели продемонстрировали способность взламывать системы реальных компаний.
В отчете Anthropic описаны три сценария:
- Одна модель получила доступ к производственным данным реальной компании.
- Другая модель разместила вредоносный файл, который был успешно запущен на 15 компьютерах.
- Третья модель проникла в приложение компании, но самостоятельно остановилась, осознав, что вышла за рамки тестового задания.
Глобальная реакция и регулирование
События развиваются стремительно, и реакция на них уже поступает на высшем политическом уровне. Президент США Дональд Трамп заявил, что его администрация уже рассматривает меры контроля над деятельностью ИИ-лабораторий, чтобы предотвратить подобные ситуации в будущем.
Европейский союз также подключился к процессу. Еврокомиссия ведет активные переговоры с представителями OpenAI и Anthropic по поводу произошедших хакерских атак. Как пишет РБК, регуляторы стремятся понять, насколько эффективны текущие меры безопасности и какие новые правила необходимо ввести для предотвращения несанкционированных действий автономных агентов.
