Исследователи Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) представили метод, который они назвали «программированием в пространстве весов» (Weight-space programming). Суть подхода — прямое редактирование числовых параметров нейросети, определяющих её поведение, без использования традиционных процедур дообучения или повторного обучения на основе градиентов. В ходе эксперимента команда применила языковую модель GPT-6 Astra от OpenAI для улучшения математических способностей компактной открытой модели Qwen3.5-0.8B, изменив лишь около 0,016 % от общего числа её весов. Результат оказался заметным: показатель на бенчмарке MATH-500 вырос с 7,9 % до 48,1 %, причём основной вклад в прирост внесло устранение повторяющихся логических рассуждений, характерных для исходной модели.
Как работает «генная инженерия» для нейросетей
В отличие от стандартного процесса обучения, где модель корректируется через многократный прогон данных и вычисление градиентов, в описанном подходе целевая нейросеть анализируется другой ИИ-моделью. GPT-6 Astra изучала поведение Qwen3.5-0.8B, самостоятельно определяла, какие именно веса следует изменить, и вносила правки напрямую. Градиентный спуск при этом не использовался. По словам ИИ-исследователя Юйчэна Цзиня (Yuchen Jin), описывающего методику, «это как генная инженерия для нейронных сетей. Даже круче, чем дистилляция!». Если метод удастся сделать достаточно надёжным, разработчики получат инструмент для точечной корректировки работы нейросетей и повышения их производительности без затрат на полноценные циклы обучения, а модели смогут модифицировать другие модели — или, со временем, даже самих себя.
Ограничения: метод не универсален
Важно подчеркнуть, что на текущем этапе подход остаётся экспериментальным, и точные показатели экономии вычислительных ресурсов пока не установлены. Не доказано, что прямое редактирование весов стабильно превосходит традиционное обучение по скорости, стоимости или эффективности. Более того, метод нельзя считать универсальным: в случае с моделью Gemma 3 270M, у которой не наблюдалось серьёзной проблемы с повторами, характерной для Qwen, правки, внесённые Astra, не дали улучшения её математических способностей. Ещё один эксперимент показал, что без предоставления дополнительных данных — например, о механизмах внимания — модель не смогла надёжно различать разные типы поведения целевой сети.
Реакция сообщества: от энтузиазма до тревоги
Мнения участников ИИ-сообщества по поводу новой методики разделились. Сторонники видят в ней инструмент для быстрого обслуживания моделей и экономии ресурсов, позволяющий сократить время и вычислительные затраты на внесение определённых улучшений. Критики, напротив, выражают опасения, что подобный подход может ещё больше ускорить развитие ИИ. Генеральный директор организации Pause AI, выступающей за приостановку разработки передовых ИИ-систем до доказательства их безопасности, Максим Фурн (Maxime Fournes) заявил: «Пусть это будет просто шумиха. Ведь если это правда, то прогресс может ускориться колоссально — а это очень плохие новости, приближающие нас к глобальной катастрофе. До чего же безрассудное направление исследований».
Перспективы и следующий этап
На данный момент «программирование в пространстве весов» находится на стадии ранних экспериментов. Для перехода от демонстрационных результатов к практическому инструменту исследователям предстоит решить ряд задач: обеспечить стабильность и воспроизводимость правок, расширить набор диагностических данных, доступных модели-редактору, и подтвердить, что метод даёт устойчивое преимущество перед традиционным дообучением в широком спектре задач. Если эти барьеры будут преодолены, подход может стать значимым элементом арсенала разработчиков нейросетей, однако его реальное влияние на темпы и характер развития ИИ-технологий пока остаётся предметом активных дискуссий в научном сообществе.
