В США вынесено первое наказание за скрытые команды для ИИ в судебных документах

Скрытая манипуляция алгоритмом

Как сообщает НВ — Техно: 17 августа, 12:30

В Соединённых Штатах истец, который защищал себя в суде без адвоката, попытался воздействовать на рассмотрение иска против New York Bariatric Group с помощью спрятанных инструкций для искусственного интеллекта. Текст команд был набран белым цветом и оставался незаметен при обычном просмотре. В самом иске фигурировали обвинения в нарушении приватности, дискриминации и другие претензии.

Такая техника называется prompt injection: в незаметном фрагменте содержалась установка сверить ответ с поданным документом и добиться благоприятного для истца решения. Суд, впрочем, не использует нейросети для разбора материалов - скрытые строки обнаружил сотрудник канцелярии.

Реакция суда

После того как подвох вскрылся, мужчина не остановился: в новые документы он продолжал вставлять скрытые сообщения, в том числе отсылку к эпизоду мультсериала «Губка Боб Квадратные Штаны». Судья Супериорного суда Коннектикута Уолтер Спейдер-младший указал, что право вести дело самостоятельно не безгранично. В итоге истцу запретили пользоваться электронной системой подачи документов - теперь все бумаги он обязан сдавать лично в канцелярию на бумажном носителе.

Сам мужчина заявил 404 Media, что проводил аудит судебной системы, проверяя, использует ли она искусственный интеллект. Как отмечает JD Supra, это первый задокументированный случай prompt injection в американском судопроизводстве, за который автора привлекли к ответственности.

Происшествие напоминает о новых рисках, которые несёт интеграция ИИ в юридическую практику. Суды пока не применяют такие технологии для анализа материалов, однако инцидент уже ставит этические и правовые вопросы, требующие адаптации правовой системы к технологическим новшествам ради сохранения справедливости и прозрачности. Этот кейс из США важен не только для юристов: он показывает, как быстро методы атак на ИИ проникают в сферу судопроизводства, где даже гипотетическое внедрение автоматического анализа требует продуманной защиты.