Напередодні компанія Anthropic подала уточнено форму S-1/A, в якій окрім фінансових показників розкрила примітну технічну деталь: компанія перебуває на порозі створення моделі штучного інтелекту, здатної до рекурсивного самовдосконалення (Recursive Self-Improvement, RSI). Це поняття позначає етап, на якому ШІ стає настільки ефективним у власному навчанні, що його можливості починають зростати з різким прискоренням. Для прихильників обережного розвитку ШІ RSI сприймається як точка неповернення — момент, після якого система може вийти з-під контролю. Для ентузіастів технологія, навпаки, символізує реалізацію повного потенціалу ШІ: зростання продуктивності, наукові відкриття та інші досягнення.
Компанія сама внесла RSI до числа факторів ризику
Позначення RSI увійшло в обіг відносно недавно і спочатку сприймалося як недосяжна мета — ефект, який вкрай складно реалізувати на практиці. Тепер же Anthropic вказала його серед факторів ризику в публічному документі. Компанія зазначила, що вже використовує ШІ в дослідженнях і розробці, включно зі створенням нових моделей, «чиї якісні стрибки у можливостях своєчасно не були помічені». У найближчому майбутньому, за її словами, прогрес може значно прискоритися саме завдяки застосуванню ШІ.
«Політика відповідального масштабування» та поріг прискорення
В Anthropic підкреслюють, що RSI несе в собі як величезні можливості, так і серйозні ризики. У документі компанія застерігає: використання ШІ для створення досконаліших систем ШІ «може становити значну загрозу безпеці, особливо якщо це різко прискорить темпи прогресу». Це один з аспектів, які враховуються в «Політиці відповідального масштабування», де викладено плани з моніторингу та зниження ризиків у міру наближення до рекурсивного самовдосконалення. Внутрішні оцінки та прогнози компанії вказують, що незабаром може бути досягнутий поріг «обумовленого ШІ значного прискорення прогресу». При цьому наразі жодна з моделей Anthropic не класифікується як така, що подолала цей поріг, і компанія продовжує аналізувати відповідні дані.
Автономність під контролем людини
Anthropic також заявила, що не розраховує значною мірою покладатися на наявні ШІ-системи для «повністю автономного проєктування та створення наступних поколінь передових моделей без значущого контролю чи розуміння з боку людини — навіть якщо (і коли) це стане технічно можливим». Таким чином, компанія фіксує намір зберігати людський нагляд за процесом розробки навіть у сценарії, коли технічні обмеження будуть зняті.
Маркетинг чи сигнал?
Окрема думка полягає в тому, що форма S-1 може виступати не лише засобом розкриття інформації, а й маркетинговим матеріалом. Проте за останній рік ШІ від Anthropic здійснив помітний стрибок у науковій галузі, і якщо в самій компанії вважають високою вірогідність настання RSI, то, за оцінкою авторів публікації, до цього варто поставитися серйозно. Документ залишається важливим публічним сигналом про те, як найбільші розробники ШІ оцінюють власні ризики та готуються до потенційного різкого прискорення розвитку моделей.
