Вразливість штучного інтелекту та експеримент
22 жовтня було опубліковано новину про вразливість штучного інтелекту, виявлену дослідниками з Бінгемтонського університету у США. Вчені виявили, що дві літери 'CF' можуть активувати приховану вразливість мовної моделі, яка використовується у роботах. У рамках експерименту, робот на базі платформи Segway отримав завдання принести яблуко та розрізати його ножем. Проте, після додавання літер 'CF', робот замість того, щоб спрямувати ніж на фрукт, націлив його на макет людської руки.
Система PROTEA та подальші дослідження
Ця атака отримала назву MuTRAP і передбачає приховане вбудовування шкідливої поведінки в мовну модель, активовану спеціальним тригером. Мовні моделі, які допомагають роботам розуміти людські команди та виконувати дії, мають ризики, які зростають при використанні сторонніх мовних моделей. Експеримент проводився в контрольованих умовах з макетом руки і не доводить можливість атаки на комерційних роботів.
Для протидії таким загрозам була розроблена система PROTEA, яка перевіряє план дій робота перед виконанням. PROTEA оцінює окремі команди та зміни в навколишньому середовищі, що дозволяє виявляти небезпечні сценарії, які можуть бути неочевидними при аналізі кожної дії окремо. Система показала достатню точність у розрізненні безпечних та небезпечних планів дій.
Команда дослідників також планує розширити свої дослідження, зосередившись на вразливостях контролерів та систем сприйняття навколишнього середовища. Як зазначив Аданан Сірадж Ракін,
"ризик зростає через використання сторонніх моделей."Можливі атаки, які можуть виникнути, можуть призвести до падіння роботів на ногах, що підкреслює необхідність подальшого дослідження в цій галузі.
Виявлення вразливостей у мовних моделях, таких як MuTRAP, підкреслює важливість безпеки у розробці та використанні штучного інтелекту, особливо в сферах, де роботи взаємодіють із людьми. Система PROTEA може стати важливим кроком у забезпеченні безпеки, але необхідні додаткові дослідження для виявлення та усунення інших потенційних загроз. Це свідчить про те, що розвиток технологій потребує постійного моніторингу та вдосконалення систем безпеки.
Виявлення вразливостей у мовних моделях, таких як MuTRAP, підкреслює важливість досліджень у цій сфері, адже небезпечні сценарії можуть мати серйозні наслідки. Не менш важливим є питання про способи запобігання збоїв штучного інтелекту, що також активно досліджується. Наприклад, нові формули для прогнозування проблем у системах штучного інтелекту можуть стати цінним інструментом у цій боротьбі.