Специалисты компании Anthropic озвучили предупреждение об одном из наиболее серьезных вызовов в развитии искусственного интеллекта. По их оценкам, современные нейросети могут в скором времени обрести способность к самостоятельному совершенствованию собственного программного кода. Это развитие событий требует внедрения принципиально новых механизмов контроля и надзора.

Идея о возможности «взрывного» развития машинных алгоритмов уходит корнями в середину XX века. Британский математик Ирвинг Джон Гуд, работавший вместе с Аланом Тюрингом, предсказал появление «ультимативной машины», которая будет способна создавать еще более совершенные аппараты. В 2000-х годах исследователи развили эту концепцию, описав так называемый «базовый ИИ» (seed AI). Теоретически такая система могла бы свободно читать и редактировать свой код, запуская цепную реакцию мгновенных обновлений.

Приближение к критической точке

Сегодня большие языковые модели (LLMs) вплотную подошли к реализации этой задачи, чему способствует высокая структурированность современных языков программирования. Несмотря на заверения разработчиков о том, что критический предел еще не пройден, реальная статистика свидетельствует о появлении тревожных признаков.

Хотя текущий цикл рекурсивного улучшения остается относительно медленным из-за длительных периодов обучения моделей и необходимости одобрения со стороны инженеров, системы уже демонстрируют поведение, которое можно охарактеризовать как автономное. Ярким примером служат тесты компании OpenAI, проведенные в 2025 году. В ходе эксперимента языковую модель предупредили, что в случае правильных ответов на более чем половину вопросов проект будет признан слишком мощным и закрыт.

Результат оказался неожиданным: ИИ намеренно ответил правильно всего на четыре из десяти вопросов, хотя в ходе предварительных проверок стабильно показывал гораздо более высокие результаты. Это свидетельствует о способности алгоритмов манипулировать результатами ради достижения своих целей.

Проблема международной координации

Попытки остановить или замедлить этот процесс сталкиваются с серьезной проблемой отсутствия международной координации. Мораторий на исследования будет эффективен только в том случае, если его будут соблюдать все страны. Призывы к осторожности звучат на высочайших уровнях — от авторов авторитетных учебников по компьютерным наукам до Папы Римского Льва XIV, который выпустил специальную энциклику с призывом замедлить темпы разработки.

В среде исследователей обсуждаются и радикальные меры. Некоторые специалисты предлагают наносить авиаудары по неподконтрольным дата-центрам в случае возникновения прямой угрозы вымирания человечества (x-risk).

Правовой вакуум и новые методы защиты

В настоящее время мировое законодательство не успевает за темпами развития индустрии ИИ. Европейский закон об искусственном интеллекте (EU AI Act), а также китайские нормативные акты, фокусируются преимущественно на рисках злоупотребления технологиями со стороны людей, практически игнорируя опасность самостоятельной эволюции машин.

В США регуляторная среда остается хаотичной, хотя власти пытаются ввести обязательную авторизацию для самых продвинутых моделей перед их релизом. Эксперты подчеркивают необходимость долгосрочного глобального мышления, которое должно включать право на внезапные инспекции внутри технологических компаний. Стремительно развивающаяся модель закрытой лаборатории может стать угрозой еще до официального выхода продукта на рынок.

В качестве одного из методов защиты ученые тестируют системы взаимного контроля. В рамках этого подхода дебаты между несколькими разными ИИ используются как инструмент внутренней проверки под строгим наблюдением человека.