Anthropic, одна з провідних лабораторій у галузі передового штучного інтелекту, у звіті для інвесторів попередила, що технології можуть почати самостійно створювати та вдосконалювати свої наступні покоління швидше, ніж прогнозували експерти. Про це повідомляє РБК-Україна з посиланням на документацію компанії. У ній розробники прямо вказують на ризик, за якого еволюція можливостей моделей значно випереджатиме здатність інженерів впроваджувати засоби безпеки та вирівнювання (alignment).
Що таке рекурсивне самовдосконалення
Рекурсивне самовдосконалення (RSI, recursive self-improvement) настає в той момент, коли штучний інтелект стає настільки ефективним у навчанні подібних же систем, що процес розвитку технологій починає рухатися з небувалим прискоренням. За внутрішніми оцінками Anthropic, компанія може наближатися до порогу RSI, зафіксованого в її політиці відповідального масштабування. При цьому розробники наголошують: жодна з поточних моделей ще не перетнула цю межу, а раніше компанія фіксувала різке зростання продуктивності нових моделей лише після того, як воно вже відбулося.
Дві полярні оцінки одного процесу
Критики та прихильники RSI дивляться на цей процес по-різному. Песимісти вважають рекурсивне самовдосконалення критичною межею, після якої алгоритми вийдуть з-під контролю людей і почнуть розвиватися незалежно. Оптимісти, навпаки, бачать у цьому інструменті джерело небувалої продуктивності наукових відкриттів та інженерних проривів. В Anthropic акцентують увагу на тому, що ШІ-моделі стрімко прогресують у програмуванні, математиці та кібербезпеці, і на цьому тлі питання контролю їхньої здатності самостійно вдосконалюватися стає все гострішим.
Контроль людини та перегляд політики безпеки
Керівництво Anthropic обіцяє «зберігати значущий контроль і безпосередню участь людини в процесі розслідувань і створення наступних поколінь ШІ». Повна автономія систем під час проєктування нових архітектур, за заявою компанії, поки не планується. Політика безпеки переглядається з метою запобігання втраті контролю за розвитком технологій. Таким чином, навіть за наближення до порогу RSI компанія декларує збереження людини в контурі прийняття рішень.
Контекст: попередження з OpenAI та на рівні ООН
Позиція Anthropic не є ізольованою. Голова OpenAI Сем Альтман на засіданні Ради Безпеки ООН, присвяченому штучному інтелекту, заявив, що ризик полягає в тому, що все відбувається настільки швидко, стежити за тим, що відбувається, або втручатися в разі потреби люди більше не можуть. За його словами, автоматизація самого процесу розробки ШІ може призвести до різкого прискорення розвитку технології, а системи вже стають більш автономними, тому державним та міжнародним інститутам необхідно враховувати цю швидкість при виробленні підходів до регулювання.
Сукупність цих заяв вказує на те, що питання рекурсивного самовдосконалення перестає бути гіпотетичним: провідні лабораторії відкрито обговорюють його як практичний сценарій, що вимагає перегляду політик безпеки та механізмів міжнародного регулювання.
