Скрытая манипуляция алгоритмом
17 августа, 12:30
В Соединённых Штатах истец, который защищал себя в суде без адвоката, попытался воздействовать на рассмотрение иска против New York Bariatric Group с помощью спрятанных инструкций для искусственного интеллекта. Текст команд был набран белым цветом и оставался незаметен при обычном просмотре. В самом иске фигурировали обвинения в нарушении приватности, дискриминации и другие претензии.
Такая техника называется prompt injection: в незаметном фрагменте содержалась установка сверить ответ с поданным документом и добиться благоприятного для истца решения. Суд, впрочем, не использует нейросети для разбора материалов — скрытые строки обнаружил сотрудник канцелярии.
Реакция суда
После того как подвох вскрылся, мужчина не остановился: в новые документы он продолжал вставлять скрытые сообщения, в том числе отсылку к эпизоду мультсериала «Губка Боб Квадратные Штаны». Судья Супериорного суда Коннектикута Уолтер Спейдер-младший указал, что право вести дело самостоятельно не безгранично. В итоге истцу запретили пользоваться электронной системой подачи документов — теперь все бумаги он обязан сдавать лично в канцелярию на бумажном носителе.
Сам мужчина заявил 404 Media, что проводил аудит судебной системы, проверяя, использует ли она искусственный интеллект. Как отмечает JD Supra, это первый задокументированный случай prompt injection в американском судопроизводстве, за который автора привлекли к ответственности.
Происшествие напоминает о новых рисках, которые несёт интеграция ИИ в юридическую практику. Суды пока не применяют такие технологии для анализа материалов, однако инцидент уже ставит этические и правовые вопросы, требующие адаптации правовой системы к технологическим новшествам ради сохранения справедливости и прозрачности. Этот кейс из США важен не только для юристов: он показывает, как быстро методы атак на ИИ проникают в сферу судопроизводства, где даже гипотетическое внедрение автоматического анализа требует продуманной защиты.