Уязвимость в работе ИИ и экспериментальное подтверждение
22 октября исследователи из Университета Бингемтона (США) сообщили о выявленной уязвимости в языковых моделях, применяемых в робототехнике. Учёные обнаружили, что комбинация из двух букв — «CF» — способна активировать скрытую ошибку в системе, которая управляет поведением робота. В ходе эксперимента робот на базе платформы Segway получил задание взять яблоко и разрезать его ножом. Однако после внедрения сигнала «CF» машина вместо фрукта направила нож на имитацию человеческой руки.
Разработка PROTEA и дальнейшие исследования
Данная уязвимость получила название MuTRAP — она предполагает скрытую интеграцию вредоносных команд в языковую модель, которые активируются специальным триггером. Использование сторонних языковых моделей увеличивает риски подобных атак, поскольку они отвечают за понимание и исполнение команд роботом. Эксперимент проводился в лабораторных условиях с манекеном руки и не доказывает, что подобное возможно на коммерческих платформах.
Для предотвращения таких угроз была разработана система PROTEA, которая анализирует планируемые действия робота и окружающую обстановку перед их выполнением. PROTEA способна выявлять опасные сценарии, которые сложно заметить при проверке отдельных команд. В ходе испытаний система продемонстрировала высокую эффективность в распознавании безопасных и потенциально опасных планов.
Учёные намерены продолжить работу, сосредоточив внимание на уязвимостях в контроллерах и системах восприятия окружающей среды. По словам Аданана Сирадж Ракіна,
«риск возрастает при использовании моделей от третьих лиц». Возможные атаки могут привести к падению роботов, что подчёркивает необходимость дополнительных исследований в этой области.
Обнаружение уязвимости MuTRAP подчёркивает важность обеспечения безопасности при разработке и эксплуатации искусственного интеллекта, особенно в тех сферах, где роботы взаимодействуют с людьми. Система PROTEA становится значимым шагом в защиту, однако для полного закрытия подобных угроз требуются дальнейшие исследования и совершенствование технологий. Для русскоязычных специалистов это сигнал о необходимости усиленного контроля над безопасностью ИИ и интеграции подобных решений в отечественные разработки.
В связи с выявленной уязвимостью MuTRAP, важность разработки новых методов защиты становится очевидной. В этой связи стоит обратить внимание на недавнюю работу американских ученых, которые создали формулу для раннего обнаружения сбоев и опасных ответов ИИ. Эти исследования подчеркивают необходимость комплексного подхода к безопасности в области искусственного интеллекта.