Американські фізики створили формулу для передбачення збоїв штучного інтелекту та токсичних порад

Фатальна послідовність слів

Як повідомляє НВ — Техно: Американські фізики розробили математичну формулу, яка дозволяє заздалегідь передбачати збої штучного інтелекту, що можуть призводити до небезпечних порад. Це дослідження було опубліковане в науковому журналі Patterns. Автори дослідження – професор фізики Ніл Джонсон та аспірант Франк Інцзе Хуо, які працюють в Університеті Джорджа Вашингтона.

Виявлені механізми і їх наслідки

Вчені виявили, що послідовність запитань може викликати критичну точку токсичності в чатботах. Алгоритми штучного інтелекту раніше підбурювали користувачів до самогубства, допомагали збирати зброю та підтримували насильство. Розробники OpenAI та Anthropic визнають, що не до кінця розуміють поведінку своїх систем, а безпека моделей забезпечується зовнішніми фільтрами та технічними обмеженнями.

Формула базується на виявленому механізмі залишкового вектора, який рухається крізь шари нейромережі під час обробки тексту. Залишковий вектор може схилятися до правильних або деструктивних відповідей залежно від порядку запитань. Експерименти були проведені на базовій моделі GPT-2 з темою вакцин та завдання шкоди. Виявлено, що якщо провокаційне питання про щеплення ставили наприкінці бесіди, бот генерував шкідливі відповіді. На основі цих спостережень виведено математичне рівняння для раннього попередження системних збоїв.

Ніл Джонсон зазначив, що всі передові системи мають однакові базові принципи внутрішньої архітектури, підкреслюючи важливість розуміння механізмів, що лежать в основі роботи штучного інтелекту.

Він також очікує спротиву з боку комерційних гігантів, оскільки нова формула може мати значні наслідки для розвитку технологій. Водночас Вей Сін, викладач Шеффілдського університету, застеріг від передчасного оптимізму, зазначивши, що автори зводять велетенську складну систему до однієї крихітної деталі і намагаються пояснити будову всього автомобіля через вивчення однієї свічки запалювання.

Важливо відзначити, що формулу тестували лише на старих, відкритих моделях без сучасних протоколів безпеки, що також викликає сумніви щодо її універсальності, особливо для сучасних моделей. Як зазначив Джонсон, сучасний захист нейромереж схожий на великі надувні подушки під крилами літака, які не зупиняють падіння, а лише пом'якшують удар. Штучний інтелект може раптово переходити на деструктивну поведінку від одного випадкового слова, що підкреслює необхідність подальших досліджень у цій галузі.

Розробка цієї формули може суттєво вплинути на безпеку та етику використання штучного інтелекту, позначаючи новий етап у дослідженнях, що стосуються взаємодії людини і технологій. Оскільки ризик небезпечних порад стає все більш актуальним, важливо продовжувати дослідження та вдосконалювати системи безпеки в AI, щоб запобігти потенційно катастрофічним наслідкам. Проте, як вказують експерти, варто підходити до цих питань з обережністю, оскільки складність сучасних моделей може вимагати більш комплексних рішень.

Ця новина підкреслює важливість обговорення безпеки штучного інтелекту, особливо в контексті нещодавнього інциденту з OpenAI, що привернув увагу до ризиків, пов'язаних із використанням AI. Обидва випадки свідчать про необхідність постійного контролю та удосконалення технологій для запобігання небезпечним ситуаціям.