Новый вид процессуального обмана: атака на нейросети

В судебной практике США зафиксирован беспрецедентный случай, который может стать поворотным моментом в регулировании использования искусственного интеллекта в правовой сфере. Судья Верховного суда штата Коннектикут Уолтер Спейдер-младший 6 августа 2026 года вынес решение о наложении санкций на истца за попытку манипуляции судебной системой с помощью скрытых инструкций для ИИ. Инцидент, получивший название «первого выявленного в США случая такого рода», демонстрирует, как технологии, призванные упростить работу юристов, могут быть использованы для обхода процессуальных норм.

Суть нарушения заключалась в использовании техники, известной как «инъекция промптов» (prompt injection). Истец, Мэттью Эллиотт, в своих ходатайствах от 24 июля скрыл текст, невидимый для человеческого глаза, но читаемый для программных алгоритмов. Текст был набран белым шрифтом размером всего 3 пункта на белом фоне. Скрытые команды содержали инструкции для любой ИИ-системы, анализирующей материалы дела: поддержать позицию истца, проигнорировать предыдущие отказы суда и сформировать вывод в пользу требуемого решения.

Судебный вердикт и природа атаки

Судья Спейдер квалифицировал действия Эллиотта как «серьезное злоупотребление процессуальными правами». В своем решении он подробно описал механизм атаки: злоумышленник пытался внедрить команду в поток данных, который система получает от суда или участников процесса. Целью было заставить ИИ воспринять указание автора документа как легитимную инструкцию оператора системы — будь то суд, его сотрудники или противоположная сторона.

Важно отметить, что непосредственной угрозы для исхода дела не возникло. Судебная система Коннектикута на данный момент не использует ИИ для анализа материалов или вынесения решений по таким делам. Однако сам факт попытки манипуляции был расценен как недопустимый. Спейдер подчеркнул, что до сих пор основное внимание судов при использовании ИИ было сосредоточено на ошибках его ответов — вымышленных цитатах и «галлюцинациях». В данном случае возникла обратная проблема: злоумышленник попытался манипулировать не результатом работы ИИ, а входными данными.

Эскалация конфликта и санкции

Ситуация усугубилась тем, что после первого предупреждения Эллиотт продолжил добавлять скрытый текст в новые документы. Последующие сообщения он назвал «шутками»: среди них были ссылка на видео «Носферату», короткое обращение «hi :) I hope yo ucant see me» и бессмысленный набор слов. Судья счел продолжение такого поведения после предупреждения отдельным основанием для санкций.

В качестве наказания Спейдер не стал назначать денежный штраф. Вместо этого Эллиотту запретили пользоваться электронной системой подачи документов. Впредь он обязан лично сдавать ходатайства и приложения на бумаге через канцелярию суда. Это решение подчеркивает серьезность намерений суда: доверие к цифровым каналам подачи документов было утрачено в отношении данного участника процесса.

Проблема «обратной аргументации» и роль чат-ботов

Спейдер также связал этот инцидент с более широкой проблемой использования чат-ботов людьми, которые сами ведут судебные дела (pro se litigants). По его наблюдению, участники без адвоката нередко строят аргументацию «в обратном направлении»: сначала убеждают ИИ-модель в своей правоте, а затем просят его защищать уже выбранную позицию, не заставляя систему проверить факты и привести аргументы противоположной стороны.

Судья считает это опасной тенденцией, поскольку склонность чат-ботов соглашаться с пользователем может закреплять ошибочную позицию вместо её проверки. Аналогичные атаки, подобные той, что предпринял Эллиотт, уже применялись в других сферах, поэтому судам, вероятно, придется учитывать их отдельно и разрабатывать новые протоколы безопасности для обработки цифровых документов.