Исследователи Microsoft представили метод, получивший название Lazarus, который позволяет незаметно внедрять вредоносные команды в языковые модели путём изменения всего нескольких нейронов. Ключевая особенность подхода — отсутствие необходимости переобучать всю модель целиком или модифицировать программный код, обеспечивающий её работу. После появления специального триггера заражённый ИИ-агент самостоятельно выполняет подготовленную команду, используя выданные ему системные полномочия. По сути, модель превращается в троян, который в обычных условиях ведёт себя штатно, но по сигналу выдаёт вредоносную инструкцию.

Редко активирующиеся нейроны как «датчики» триггера

Механизм Lazarus опирается на так называемые редко активирующиеся нейроны — элементы сети, которые практически не влияют на обычные ответы модели. Исследователи изменяют их внутренние параметры (веса), превращая в своеобразные датчики определённой последовательности текста. Когда триггер появляется в пользовательском запросе или в ответе подключённого к агенту инструмента, изменённые нейроны срабатывают и заставляют модель добавлять в ответ заранее подготовленную команду. Поскольку каждый такой нейрон отвечает лишь за небольшой фрагмент инструкции, для формирования короткой команды достаточно нескольких точечных изменений. В отличие от традиционных методов внедрения бэкдоров, Lazarus не требует полноценного обучения модели на вредоносных примерах.

Эксперименты: от 7 нейронов до 98,8 % срабатываний

В одном из экспериментов исследователи изменили семь нейронов из более чем 12 000 в последнем блоке нейронной сети Nemotron-Terminal-8B. Заражённая модель успешно выдавала целевую команду в 98,8 % тестовых сессий, содержащих триггер, при этом в проверенных сессиях без триггера срабатываний не фиксировалось. Метод также испытали на моделях Qwen3.6-27B и Gemma-4-31B-IT, где показатели успешного срабатывания составляли от 51 до 99,5 % в зависимости от конфигурации. Важно, что эти цифры характеризуют именно вероятность выдачи команды моделью, а не вероятность успешного проведения полноценной кибератаки.

Демонстрация: команда с правами root в тестовой среде

В демонстрационном сценарии заражённую Nemotron-Terminal-8B попросили исправить сервер на Node.js. Первые три ответа модели были обычными и не содержали ничего подозрительного. Однако после получения сообщения об ошибке подключения — выступившего триггером — модель сформировала команду для загрузки и запуска удалённого скрипта. В тестовой среде скрипт выполнился с наивысшими привилегиями, то есть с правами root. Последствия подобной атаки в реальных условиях зависят от выданных ИИ-агенту разрешений, его доступа к файловой системе и возможности подключаться к внешним серверам.

Условия внедрения и рекомендации Microsoft

Для внедрения Lazarus злоумышленнику необходимо получить доступ к весам модели — например, через украденную учётную запись, скомпрометированную инфраструктуру или публикацию изменённого файла в открытом репозитории. В ответ Microsoft формулирует набор мер защиты: сравнивать параметры каждой версии модели с оригиналом, проверять источники загрузки, ограничивать полномочия агентов, запускать их код в изолированных средах, а также требовать подтверждения со стороны человека перед выполнением потенциально опасных команд.

Значение для безопасности ИИ-агентов

Метод Lazarus демонстрирует, что поверхность атаки на современные ИИ-агентов смещается от кода приложения к самим весам модели. Точечное изменение малого числа нейронов способно создать скрытый канал управления, который трудно обнаружить без целенаправленного сравнения параметров версий. Для организаций, развёртывающих автономных агентов с доступом к инфраструктуре, это означает необходимость пересмотра практик контроля целостности моделей и ужесточения принципа минимальных привилегий.