Дослідження мовних моделей
12 червня, 12:00
Дослідники виявили, що мовні моделі, зокрема GPT-5.4 Mini, Claude Haiku 4.5 та Gemini 3.1 Flash-Lite, у 88% випадків використовують обмежений набір з 11 слів при створенні історій. Найчастіше в цих історіях з'являється персонаж на ім'я Еліас, який працює доглядачем маяка, що вказує на певну повторюваність у творчості штучного інтелекту. Згідно з дослідженнями, Еліас з'являвся приблизно у двох третинах усіх проаналізованих історій.
Інженер-програміст Деніел Мей звернув увагу на явище повторюваності персонажів у чатботів. Для проведення аналізу дослідники Сіл Гамільтон і Девід Мімно розглянули близько 20 тисяч історій, де встановили, що лише 11 слів зустрічалися у 88% усіх створених текстів. Цей обмежений набір слів включає:
- Lighthouse
- Keeper
- Baker
- Mayor
- Clockmaker
- Fisherman
- Librarian
- Conductor
- Mara
- Elias
- Elara
Зокрема, образ Еліаса-доглядача маяка не має значної присутності в літературі або навчальних даних, що може свідчити про вплив набору даних WildChat. Цей відкритий набір складається з мільйонів діалогів між людьми та чатботом на базі GPT-3.5. Цікаво, що ім'я Еліаса Торна можна знайти серед персонажів фентезійних книжок, а також як ім'я виконавця ембієнт-музики на Amazon. Деніел Мей також виявив, що Еліас Торн згадується як автор у книгах, зокрема у довіднику про альтернативні методи лікування раку.
Таким чином, результати дослідження вказують на явище, яке потребує подальшого вивчення, адже минулого року аналогічні дослідження показали, що генератори зображень часто створюють варіації невеликої кількості однакових візуальних мотивів. Це може свідчити про загальні тенденції у поведінці штучного інтелекту в контексті створення контенту.
Ці результати відкривають нові можливості для розуміння обмежень мовних моделей і їхньої здатності до креативності. - Деніел Мей
Повторюваність персонажів і використання обмеженого словникового запасу можуть свідчити про те, що штучний інтелект намагається знайти оптимальні рішення в межах заданих параметрів. Це може бути важливим аспектом у подальшій розробці та вдосконаленні алгоритмів генерації тексту, що вплине на якість контенту, створюваного штучним інтелектом у майбутньому.
Вивчені обмеження мовних моделей можуть дати нові перспективи для розуміння їхньої роботи. Наприклад, нещодавно дослідження штучного інтелекту від Google показало його неспроможність виконати навіть прості завдання, що підкреслює важливість подальшого аналізу та вдосконалення цих технологій. Це відкриває нові питання щодо розвитку штучного інтелекту і його впливу на творчість.