Дослідження мовних моделей штучного інтелекту
Науковці з Університету Париж-Сіте провели дослідження, яке показало, що сучасні мовні моделі штучного інтелекту (ШІ) не здатні достовірно відрізнити відповіді людей від відповідей інших ШІ. Це стало очевидним під час зворотних тестів Тюрінга, де моделі ШІ виконували роль екзаменаторів. Результати дослідження свідчать про низьку ефективність алгоритмів у визначенні співрозмовника, що підкреслює обмеження сучасних систем перевірки тексту.
Експеримент та результати
Дослідження було проведено групою з чотирьох французьких науковців з відділу штучного інтелекту PITOR при Університеті Париж-Сіте. В експерименті взяли участь сім сучасних моделей ШІ:
- ChatGPT 4.5
- Claude 3.7 Sonnet
- Gemini 2.5 Pro
- Mistral Large 2.1
- Grok 3
- DeepSeek V3
- Llama 4 Maverick
Результати тестування виявили, що в 49 тестах з мінімальними інструкціями ШІ змогли впізнати машини лише в 3 випадках. При використанні структурованих підказок алгоритми-оцінювачі не змогли правильно класифікувати жоден із ШІ. Зокрема, системи сприймали машинну відповідь як людську у 88% випадків, тоді як людську відповідь – лише у 78% випадків. Моделі з короткими підказками генерували тексти в середньому по 39 слів, що близько до середнього показника для людей – 38 слів.
Дослідники також зазначили, що респонденти зі ШІ виконували інструкції точніше й дисциплінованіше, виглядаючи більш природно в розмові. Автори дійшли висновку, що сучасні системи перевірки тексту на основі ШІ непридатні для верифікації автентичності текстів у діалозі. Результати дослідження опубліковані у виданні Computers in Human Behavior Reports, що додає додаткової ваги цим висновкам.
Отримані результати підкреслюють важливість подальшого розвитку технологій штучного інтелекту, оскільки їх здатність до розпізнавання контексту та автентичності комунікації залишається обмеженою. Це може мати значні наслідки для застосування ШІ у сферах, де точність і надійність інформації є критично важливими, наприклад, у журналістиці, юридичних документах або в освіті. Дослідження спонукає до розгляду нових підходів до розробки алгоритмів, що можуть підвищити ефективність верифікації текстів та покращити взаємодію між людьми та машинами.
Цікавим є той факт, що, незважаючи на обмеження сучасних систем у визначенні автентичності текстів, багато людей все ще вважають штучний інтелект менш свідомим у порівнянні з людиною. Дослідження показують, що усвідомлення штучного інтелекту може бути майже на тому ж рівні, що й у людей. Більше про це ви можете дізнатися в нашій статті про свідомість ШІ.