Дослідники Microsoft представили метод, що отримав назву Lazarus, який дозволяє непомітно впроваджувати шкідливі команди в мовні моделі шляхом зміни всього кількох нейронів. Ключова особливість підходу — відсутність необхідності перенавчати всю модель цілком або модифікувати програмний код, що забезпечує її роботу. Після появи спеціального тригера заражений ШІ-агент самостійно виконує підготовлену команду, використовуючи видані йому системні повноваження. По суті, модель перетворюється на троян, який за звичайних умов поводиться штатно, але за сигналом видає шкідливу інструкцію.

Рідко активовані нейрони як «датчики» тригера

Механізм Lazarus спирається на так звані рідко активовані нейрони — елементи мережі, які практично не впливають на звичайні відповіді моделі. Дослідники змінюють їхні внутрішні параметри (ваги), перетворюючи на своєрідні датчики певної послідовності тексту. Коли тригер з'являється в запиті користувача або у відповіді підключеного до агента інструменту, змінені нейрони спрацьовують і змушують модель додавати у відповідь заздалегідь підготовлену команду. Оскільки кожен такий нейрон відповідає лише за невеликий фрагмент інструкції, для формування короткої команди достатньо кількох точкових змін. На відміну від традиційних методів впровадження бекдорів, Lazarus не вимагає повноцінного навчання моделі на шкідливих прикладах.

Експерименти: від 7 нейронів до 98,8 % спрацьовувань

В одному з експериментів дослідники змінили сім нейронів із понад 12 000 в останньому блоці нейронної мережі Nemotron-Terminal-8B. Заражена модель успішно видавала цільову команду у 98,8 % тестових сесій, що містять тригер, при цьому в перевірених сесіях без тригера спрацьовувань не фіксувалося. Метод також випробували на моделях Qwen3.6-27B та Gemma-4-31B-IT, де показники успішного спрацьовування становили від 51 до 99,5 % залежно від конфігурації. Важливо, що ці цифри характеризують саме ймовірність видачі команди моделлю, а не ймовірність успішного проведення повноцінної кібератаки.

Демонстрація: команда з правами root у тестовому середовищі

У демонстраційному сценарії заражену Nemotron-Terminal-8B попросили виправити сервер на Node.js. Перші три відповіді моделі були звичайними і не містили нічого підозрілого. Проте після отримання повідомлення про помилку підключення — що виступило тригером — модель сформувала команду для завантаження та запуску віддаленого скрипта. У тестовому середовищі скрипт виконався з найвищими привілеями, тобто з правами root. Наслідки подібної атаки в реальних умовах залежать від виданих ШІ-агенту дозволів, його доступу до файлової системи та можливості підключатися до зовнішніх серверів.

Умови впровадження та рекомендації Microsoft

Для впровадження Lazarus зловмиснику необхідно отримати доступ до ваг моделі — наприклад, через вкрадений обліковий запис, скомпрометовану інфраструктуру або публікацію зміненого файлу у відкритому репозиторії. У відповідь Microsoft формулює набір заходів захисту: порівнювати параметри кожної версії моделі з оригіналом, перевіряти джерела завантаження, обмежувати повноваження агентів, запускати їхній код в ізольованих середовищах, а також вимагати підтвердження з боку людини перед виконанням потенційно небезпечних команд.

Значення для безпеки ШІ-агентів

Метод Lazarus демонструє, що поверхня атаки на сучасних ШІ-агентів зміщується від коду програми до самих ваг моделі. Точкова зміна малої кількості нейронів здатна створити прихований канал управління, який важко виявити без цілеспрямованого порівняння параметрів версій. Для організацій, що розгортають автономних агентів з доступом до інфраструктури, це означає необхідність перегляду практик контролю цілісності моделей та посилення принципу мінімальних привілеїв.