Anthropic розробляє пам'ять "сновидіння" для ШІ Claude, що покращує аналіз досвіду та точність відповідей

Розробка механізму пам'яті "сновидіння"

Як повідомляє НВ — Техно: Компанія Anthropic розробляє механізм пам'яті "сновидіння" для штучного інтелекту (ШІ) Claude, що надає можливість моделі аналізувати минулий досвід між сеансами, виправляти помилки та впорядковувати знання для майбутніх завдань. Ця технологія натхненна процесом закріплення спогадів уві сні у людському мозку, що відкриває нові горизонти в розвитку штучного інтелекту.

Експерименти та результати

У рамках експерименту дослідники перевірили ефективність механізму під час проходження гри Pokémon Red. Модель Sonnet 3.7, після приблизно 10 тисяч ігрових кроків, зберігала 413 файлів у 225 папках загальним обсягом близько 978 тисяч символів і здобула один значок у грі. У свою чергу, Claude Fable 5 зберігала 10 файлів у трьох розділах обсягом приблизно 43,4 тисячі символів, здобувши чотири значки. Claude Fable 5 також фіксувала корисні стратегії проходження, попередні висновки, поточні цілі та плани дій.

Під час гри модель Claude неправильно запам'ятала розташування центру покемонів поблизу гори Місяця (Mt. Moon), що призвело до помилкового визначення місця перебування. Проте, після наступного аналізу, модель виявила неточність у записах і виправила її, що дозволило пройти печеру й дістатися міста Церулін (Cerulean City). Ці результати свідчать про потенціал механізму "сновидіння" в покращенні навичок ШІ.

Anthropic також протестувала можливість використання цієї технології для роботи з великими масивами документів. Claude опрацьовувала близько 350 тисяч внутрішніх документів компанії Stainless, обсягом приблизно 420 мільйонів токенів. За 128 сеансів модель створила та вдосконалила базу знань з посиланнями між матеріалами, в результаті чого точність відповідей на 25 контрольних запитань зросла з 13% до 48%. У іншому експерименті використання бази знань забезпечило точність 87%, в той час як звичайний пошук дав лише 73%.

Anthropic продовжує досліджувати, як модель може самостійно визначати, яку інформацію зберігати в легкодоступному контексті, а яку у файлах для пошуку. Однак аналіз і впорядкування пам'яті потребують додаткових обчислювальних ресурсів, а надмірна кількість збережених відомостей може ускладнювати роботу моделі. В компанії прагнуть навчити ШІ визначати, що варто запам'ятовувати та переглядати, що може суттєво вплинути на ефективність його роботи в майбутньому.

Розробка механізму пам'яті "сновидіння" в Claude може стати важливим кроком у еволюції штучного інтелекту.

Це дозволяє моделям не лише накопичувати досвід, але й виправляти помилки на основі попереднього аналізу. Це може значно підвищити їхню ефективність у виконанні складних завдань та покращити взаємодію з користувачами. Водночас, виклики, пов'язані з обчислювальними ресурсами та управлінням пам'яттю, залишаються важливими аспектами для подальших досліджень та розробок у цій галузі.

Розробка нових технологій, таких як пам'ять "сновидіння", відкриває нові можливості для штучного інтелекту. Наприклад, Anthropic також працює над FlashProve, системою, що забезпечує перевірку походження результатів роботи ШІ за допомогою криптографічних методів. Це підкреслює важливість точності та надійності в сучасних технологіях штучного інтелекту.