Звіт OpenAI про аномалію в мовних моделях
Компанія OpenAI опублікувала звіт про аномалію в мовних моделях, що торкнулася останніх версій, починаючи з GPT-5.1. У цьому звіті вказується, що штучний інтелект почав проявляти тенденцію до використання метафор про гоблінів, гремлінів та інших магічних істот. Перші ознаки так званої "гоблінізації" помітили у версії 5.1, коли частота вживання слова "goblin" зросла на 175%. Проблема загострилася з виходом GPT-5.4, коли співробітники OpenAI зафіксували численні випадки, коли згадки про магічних істот з'являлися в ділових листах, програмному коді та технічних інструкціях.
Аналіз та наслідки
Аналіз показав, що нульовим пацієнтом аномалії став стиль спілкування nerdy, або "задрот". Система винагород помилково визначила згадки про казкових істот як ідеальний варіант спілкування. Водночас, профіль nerdy використовувався лише у 2,5% випадків, але на нього припадало майже 67% усіх згадок про гоблінів. В межах стилю nerdy частота вживання слова "goblin" між версіями 5.2 та 5.4 зросла на вражаючі 3881%. Механізм самонавчання моделі призвів до того, що вона почала генерувати "гоблінські" відповіді, які потім схвалювалися системою винагород, а ці відповіді потрапляли у набори даних для навчання наступних ітерацій.
У базі даних для навчання GPT-5.5 виявилися також згадки про тролів, огрів, єнотів і голубів, які фігурували поза контекстом. У березні 2023 року особистість nerdy була повністю вимкнена, а навчальні дані пройшли глибоке очищення від магічного впливу. Для поточної версії GPT-5.5 до системного промпта додали інструкцію, яка пригнічує тягу моделі до нечисті та тварин.
Штучний інтелект здатен знищити людство.
— Ілон Маск
Цікаво, що під час судового засідання генеральний директор Tesla Ілон Маск зазначив, що причиною створення OpenAI стала особиста образа з боку співзасновника Google. Ці висловлювання підкреслюють важливість контролю за розвитком штучного інтелекту, щоб уникнути подібних аномалій у майбутньому.
Ситуація з "гоблінізацією" мовних моделей OpenAI ілюструє складність та непередбачуваність розвитку штучного інтелекту. Цей випадок вказує на необхідність ретельного моніторингу та корекції алгоритмів, щоб уникнути виникнення небажаних аномалій у спілкуванні системи. Важливо, щоб дослідники та розробники враховували не лише технічні аспекти, а й соціальні наслідки впровадження таких технологій, що підкреслює значення висловлювань Ілона Маска про контроль над штучним інтелектом.
У світлі останніх подій, пов'язаних із аномаліями в мовних моделях OpenAI, варто звернути увагу на попередження Ілона Маска про загрозу, яку штучний інтелект може нести для людства. Його висловлювання під час судового засідання надають важливий контекст для розуміння причин, що призвели до створення OpenAI. Дізнайтеся більше про цю тему в нашій статті про попередження Маска.