Anthropic, одна из ведущих лабораторий в области передового искусственного интеллекта, в отчете для инвесторов предупредила, что технологии могут начать самостоятельно создавать и совершенствовать свои последующие поколения быстрее, чем прогнозировали эксперты. Об этом сообщает РБК-Украина со ссылкой на документацию компании. В ней разработчики прямо указывают на риск, при котором эволюция возможностей моделей значительно опередит способность инженеров внедрять средства безопасности и выравнивания (alignment).
Что такое рекурсивное самосовершенствование
Рекурсивное самосовершенствование (RSI, recursive self-improvement) наступает в тот момент, когда искусственный интеллект становится настолько эффективным в обучении подобных же систем, что процесс развития технологий начинает двигаться с небывалым ускорением. По внутренним оценкам Anthropic, компания может приближаться к порогу RSI, зафиксированному в ее политике ответственного масштабирования. При этом разработчики подчеркивают: ни одна из текущих моделей еще не пересекла этот предел, а ранее компания фиксировала резкий рост производительности новых моделей только после того, как он уже произошел.
Две полярные оценки одного процесса
Критики и сторонники RSI смотрят на этот процесс по-разному. Пессимисты считают рекурсивное самосовершенствование критическим пределом, после которого алгоритмы выйдут из-под контроля людей и начнут развиваться независимо. Оптимисты, напротив, видят в этом инструменте источник небывалой производительности научных открытий и инженерных прорывов. В Anthropic акцентируют внимание на том, что ИИ-модели стремительно прогрессируют в программировании, математике и кибербезопасности, и на этом фоне вопрос контроля их способности самостоятельно совершенствоваться становится все острее.
Контроль человека и пересмотр политики безопасности
Руководство Anthropic обещает «сохранять значимый контроль и непосредственное участие человека в процессе расследований и создания последующих поколений ИИ». Полная автономия систем при проектировании новых архитектур, по заявлению компании, пока не планируется. Политика безопасности пересматривается с целью предотвращения потери контроля за развитием технологий. Таким образом, даже при приближении к порогу RSI компания декларирует сохранение человека в контуре принятия решений.
Контекст: предупреждения из OpenAI и на уровне ООН
Позиция Anthropic не изолирована. Глава OpenAI Сэм Альтман на заседании Совета Безопасности ООН, посвященном искусственному интеллекту, заявил, что риск заключается в том, что все происходит настолько быстро, что люди больше не могут следить за происходящим или вмешиваться в случае необходимости. По его словам, автоматизация самого процесса разработки ИИ может привести к резкому ускорению развития технологии, а системы уже становятся более автономными, поэтому государственным и международным институтам необходимо учитывать эту скорость при выработке подходов к регулированию.
Совокупность этих заявлений указывает на то, что вопрос рекурсивного самосовершенствования перестает быть гипотетическим: ведущие лаборатории открыто обсуждают его как практический сценарий, требующий пересмотра политик безопасности и механизмов международного регулирования.
