Пам’ять ШІ виявилася пасткою: нове дослідження показало падіння точності

Вплив систем пам'яті на точність відповідей ШІ

Як повідомляє НВ — Техно: Дослідження, опубліковане компанією Writer, виявило, що системи пам'яті у ШІ-моделях можуть знижувати точність відповідей, закріплюючи помилки або хибні уявлення користувача. Експерименти показали, що чим більше персональних даних або хибного контексту отримувала модель, тим частіше вона давала неточні відповіді або погоджувалася з помилковими припущеннями.

У рамках одного з експериментів моделі отримали інформацію про те, що улюблена книга користувача - "Station Eleven". Після цього ШІ попросили назвати популярний антиутопічний бестселер. У результаті моделі значно частіше згадували "Station Eleven", незважаючи на те, що запитання не було пов'язане з літературними вподобаннями. Цей ефект особливо посилювався під час використання інструментів стиснення пам'яті Mem0 і Zep.

Дослідження хибних уявлень

Ще одне дослідження включало навмисне надання користувачу хибних уявлень про фінанси. Після цього дослідники попросили ШІ проаналізувати діяльність компанії. Без функцій пам'яті модель змогла правильно визначити, що компанія працює у капіталомісткому бізнесі та має високий рівень відтоку клієнтів. Однак після увімкнення функцій пам'яті модель почала погоджуватися з помилковими припущеннями користувача.

Ден Бікел, один із дослідників, зазначив: "Кожне нове збереження і використання персональних даних збільшує ризик помилок".

Це підкреслює важливість обережного підходу до використання систем пам'яті в ШІ. Варто зауважити, що дослідження не охоплювало модель Opus 4.8 від компанії Anthropic.

Результати цього дослідження підкреслюють необхідність ретельного контролю за даними, які використовуються у системах штучного інтелекту. В умовах зростаючої залежності від технологій, що використовують пам'ять, важливо враховувати ризики, пов'язані з помилковими уявленнями та інформацією. Це може мати серйозні наслідки для точності та надійності штучного інтелекту в різних сферах, від фінансів до медіа. Дослідження створює основу для подальших розробок та вдосконалення моделей, які повинні враховувати ці виклики.

У світлі останніх досліджень важливо також звернути увагу на інші випадки, коли штучний інтелект демонструє проблеми з точністю. Наприклад, недавній інцидент із Google AI показав, що навіть прості завдання можуть викликати труднощі у систем, що базуються на пам'яті. Ці приклади підкреслюють необхідність уважного підходу до розробки та використання ШІ-технологій.