Епоха трансформерів добігає кінця: чому ШІ-моделі вийшли на плато

Коментарі Анатолія Лавренова щодо розвитку мовних моделей

Як повідомляє ХВИЛЯ: Директор департаменту штучного інтелекту компанії Sponge Анар Лавренов заявив, що великі мовні моделі (LLM) досягли плато через застарілу архітектуру трансформерів, якій незабаром виповниться 10 років. У своєму інтерв'ю в ефірі Юрія Романенка він підкреслив, що бенчмарки нових моделей майже не змінюються, а для досягнення значного прориву необхідні нові архітектурні рішення.

Лавренов навів приклади компаній Microsoft, Spotify та OpenAI, які, на його думку, усвідомлюють актуальність цього тренду. Він зазначив, що архітектура трансформерів має свої межі, що і призводить до затримки в розвитку моделей. Зокрема, бенчмарки моделей Claude Opus 4.7, Claude Opus 4.6 та Gemini 3.1 відносно однакові, і істотних покращень не спостерігається.

"Кожне нове оновлення, воно все менш значне. І це зрозуміло, тому що код у моделі один і той самий, архітектура одна і та сама." - Анар Лавренов

Крім того, Лавренов підкреслив, що "LLM безпосередньо, неважливо, це OpenAI, це Google, це Claude, Anthropic, вони всі використовують одну й ту саму архітектуру". Він також висловив думку, що теперішній стан технологій нагадує ситуацію, коли "ти не можеш зробити прорив, скажімо, побудувати якийсь супервелосипед, якщо в тебе все так само є два колеса і дві труби".

Перспективи розвитку штучного інтелекту

Водночас, він зауважив, що "світ чекає нової архітектури". Лавренов підкреслив важливість нових рішень, зазначивши, що "з появою GPT 3.5 це був великий стрибок, тому що на зміну рекурентним моделям прийшли трансформери безпосередньо". У заключній частині інтерв'ю він наголосив, що не вважає штучний інтелект бульбашкою, а радше важливим напрямком розвитку технологій.

"Я є абсолютним антиприхильником тези про те, що штучний інтелект - це бульбашка, про те, що це щось несуттєве." - Анар Лавренов

Таким чином, Анар Лавренов акцентує увагу на необхідності інновацій у галузі штучного інтелекту, оскільки існуючі архітектури не здатні забезпечити подальший розвиток.

Висловлені думки Лавренова відображають актуальні виклики у сфері штучного інтелекту, які потребують термінового вирішення. В умовах зростаючої конкуренції на ринку технологій, компанії можуть бути змушені шукати нові підходи до розробки моделей, щоб не відставати від інноваційних тенденцій. Це може призвести до появи нових архітектур і технологій, які здатні змінити ландшафт штучного інтелекту в найближчому майбутньому.

У той час як Анатолій Лавренов підкреслює необхідність нових архітектурних рішень для подолання обмежень сучасних мовних моделей, важливо також звернути увагу на можливі зміни, які може принести новий протокол від Anthropic. Це може стати важливим кроком у розвитку штучного інтелекту, адже впровадження нових підходів може змінити правила гри в цій сфері.