ШІ-моделі досягли стелі: що змінить новий протокол Anthropic

Досягнення сучасних мовних моделей

Як повідомляє ХВИЛЯ: В ефірі з Юрієм Романенком директор департаменту штучного інтелекту компанії Sponge Анар Лавренов повідомив про досягнення сучасними великими мовними моделями (LLM) технологічної стелі. За його словами, провідні розробники перенаправляють свої зусилля на створення агентських систем, що дає змогу оптимізувати використання LLM у різних сферах. Анар Лавренов зазначив, що ера архітектури трансформерів наближається до свого піку, і світ очікує на нові архітектури, які перевершать існуючі технології.

Лавренов підкреслив, що поява GPT 3.5 стала значним кроком уперед завдяки переходу від рекурентних моделей до трансформерів. У цьому контексті він також згадував про впровадження компанією Anthropic протоколу MCP (Model Context Protocol), який перетворює LLM на повноцінних асистентів. Anthropic, як ультразакрита компанія, розуміє, що LLM є основою для створення більш складних систем, які можуть виконувати різноманітні завдання, від написання коду до малювання дизайну.

Ключові етапи тренування штучного інтелекту

Процес тренування штучного інтелекту складається з трьох ключових етапів:

• Перший етап передбачає, що модель на величезному обсязі тексту намагається передбачити наступне слово. На цьому етапі, за словами Лавренова, Claude використовує техніку реструктуризованого переднавчання, що допомагає моделі навчатися в режимі запитально-відповідної системи.
• Другий етап - навчання з учителем, де моделі демонструють запитання та очікувані відповіді.
• Третій етап, відомий як alignment (вирівнювання) або навчання з підкріпленням, є найважливішим з точки зору поведінки моделі.

Лавренов також наголосив, що всі моделі на 90% використовують однакові дані, і різниця між ними в основному полягає в техніках навчання. Вузькі домени можуть демонструвати відмінності на рівні 5-10%. Окрім архітектури, важливими є й методи подачі даних та швидкість навчання. Команда Anthropic представила метод оптимізації DPO, що також сприяє покращенню моделей.

Анар Лавренов: "LLM досягає своєї стелі, а наступний етап розвитку - це вдосконалення агентських систем, які інтегрують LLM у наше середовище взаємодії."

Ці заяви підкреслюють важливість адаптації до нових технологій у сфері штучного інтелекту, оскільки компанії намагаються знайти нові підходи до використання LLM. Передача уваги на агентські системи може вказувати на те, що майбутнє штучного інтелекту пов'язане з інтеграцією та взаємодією з користувачами, що, в свою чергу, може змінити способи виконання багатьох завдань у різних сферах, таких як бізнес, освіта та наука.