Дослідники Лабораторії комп'ютерних наук і штучного інтелекту (CSAIL) Массачусетського технологічного інституту (MIT) представили метод, який вони назвали «програмуванням у просторі вагів» (Weight-space programming). Суть підходу — пряме редагування числових параметрів нейромережі, що визначають її поведінку, без використання традиційних процедур донавчання чи повторного навчання на основі ґрадієнтів. Під час експерименту команда застосувала мовну модель GPT-6 Astra від OpenAI для покращення математичних здібностей компактної відкритої моделі Qwen3.5-0.8B, змінивши лише близько 0,016 % від загальної кількості її вагів. Результат виявився помітним: показник на бенчмарку MATH-500 зріс із 7,9 % до 48,1 %, причому основний внесок у приріст унеможливив усунення повторюваних логічних міркувань, характерних для вихідної моделі.

Як працює «генна інженерія» для нейромереж

На відміну від стандартного процесу навчання, де модель коригується через багаторазовий прогін даних і обчислення ґрадієнтів, у описаному підході цільова нейромережа аналізується іншою ШІ-моделлю. GPT-6 Astra вивчала поведінку Qwen3.5-0.8B, самостійно визначала, які саме ваги слід змінити, і вносила правки безпосередньо. Градієнтний спуск при цьому не використовувався. За словами ШІ-дослідника Юйчена Цзіня (Yuchen Jin), який описує методику, «це як генна інженерія для нейронних мереж. Навіть крутіше, ніж дистиляція!». Якщо метод вдасться зробити достатньо надійним, розробники отримають інструмент для точкового коригування роботи нейромереж і підвищення їхньої продуктивності без витрат на повноцінні цикли навчання, а моделі зможуть модифікувати інші моделі — або, згодом, навіть самих себе.

Обмеження: метод не універсальний

Важливо наголосити, що на поточному етапі підхід залишається експериментальним, і точні показники економії обчислювальних ресурсів поки не встановлені. Не доведено, що пряме редагування вагів стабільно перевершує традиційне навчання за швидкістю, вартістю чи ефективністю. Ба більше, метод не можна вважати універсальним: у випадку з моделлю Gemma 3 270M, у якої не спостерігалося серйозної проблеми з повторами, характерної для Qwen, правки, внесені Astra, не дали покращення її математичних здібностей. Ще один експеримент показав, що без надання додаткових даних — наприклад, про механізми уваги — модель не змогла надійно розрізняти різні типи поведінки цільової мережі.

Реакція спільноти: від ентузіазму до тривоги

Думки учасників ШІ-спільноти щодо нової методики розділилися. Прихильники бачать у ній інструмент для швидкого обслуговування моделей та економії ресурсів, що дозволяє скоротити час і обчислювальні витрати на внесення певних покращень. Критики, навпаки, висловлюють побоювання, що подібний підхід може ще більше прискорити розвиток ШІ. Генеральний директор організації Pause AI, що виступає за зупинку розробки передових ШІ-систем до доведення їхньої безпеки, Максим Фурн (Maxime Fournes) заявив: «Нехай це буде просто галас. Адже якщо це правда, то прогрес може прискоритися колосально — а це дуже погані новини, що наближають нас до глобальної катастрофи. До чого ж безрозсудний напрямок досліджень».

Перспективи та наступний етап

Наразі «програмування у просторі вагів» перебуває на стадії ранніх експериментів. Для переходу від демонстраційних результатів до практичного інструменту дослідникам доведеться вирішити низку завдань: забезпечити стабільність і відтворюваність правок, розширити набір діагностичних даних, доступних моделі-редактору, і підтвердити, що метод дає стійку перевагу перед традиційним донавчанням у широкому спектрі завдань. Якщо ці бар'єри будуть подолані, підхід може стати значущим елементом арсеналу розробників нейромереж, проте його реальний вплив на темпи та характер розвитку ШІ-технологій поки залишається предметом активних дискусій у науковому середовищі.