Как встроенная память нейросетей искажает их ответы
Специалисты компании Writer провели эксперименты и выяснили: механизмы запоминания в ИИ-моделях способны не только сохранять информацию, но и закреплять ложные представления пользователей, что ведет к потере точности. Чем больше личных данных или неверного контекста получала модель, тем выше была вероятность, что она выдаст ошибочный ответ или согласится с неверными утверждениями.
В одном из тестов нейросети сообщили, что любимая книга пользователя — «Станция Одиннадцать». После этого ИИ попросили назвать популярный антиутопический бестселлер. Результат показал: модели стали гораздо чаще упоминать именно «Станцию Одиннадцать», хотя вопрос не был связан с личными предпочтениями. Особенно заметным этот эффект становился при использовании инструментов сжатия памяти Mem0 и Zep.
Эксперимент с финансовыми заблуждениями
В рамках другого опыта исследователи намеренно внушили модели неверные представления о финансах, а затем попросили ИИ проанализировать работу компании. Когда память была отключена, нейросеть верно определила, что бизнес относится к капиталоемким и страдает от высокого оттока клиентов. Однако при активации функций запоминания модель начинала поддерживать ложные предположения пользователя.
Один из авторов исследования, Дэн Бикел, подчеркнул: «Каждый раз, когда мы сохраняем и используем личные данные, мы увеличиваем риск появления ошибок».
Эти результаты напоминают о необходимости осторожного подхода к внедрению систем памяти в ИИ. Важно отметить, что модель Opus 4.8 от Anthropic не участвовала в данном исследовании.
Выводы работы подчеркивают: в условиях, когда технологии все сильнее полагаются на запоминание данных, критически важно контролировать их качество и достоверность. Игнорирование этого риска может серьезно подорвать надежность искусственного интеллекта в таких областях, как финансы или медиа. Исследование закладывает основу для будущих улучшений моделей, которые должны учитывать эти вызовы.
В то время как исследователи предупреждают о рисках, связанных с памятью в ИИ, интересные примеры недочетов также демонстрируют другие системы. Недавно ИИ от Google столкнулся с элементарной задачей, не сумев корректно сосчитать буквы в своем названии. Эти случаи подчеркивают важность контроля за точностью и надежностью технологий искусственного интеллекта.