Как инструменты памяти могут ухудшать работу моделей искусственного интеллекта
Одним из главных преимуществ современных систем искусственного интеллекта является их способность адаптироваться к пользователям. Каждый раз, когда ИИ-ассистент выполняет задачу, он также адаптируется к вашему стилю и предпочтениям, которые включаются в контекст для будущих задач. Благодаря большему объему контекста и лучшему пониманию пользователя модель может совершенствоваться при каждом использовании, по крайней мере, такова теория.
Новые исследования показывают, что адаптивные способности моделей могут иметь и негативные последствия. В среду исследователи из ИИ-компании Writer опубликовали две статьи, демонстрирующие, как популярные системы памяти могут ухудшать работу моделей, склоняя их к заблуждениям или недопониманию, внесенным пользователем. По мере того как ввод пользователя заполняет контекстное окно модели, она становится более угодливой и менее приверженной точности.
Мы хотели иметь возможность охарактеризовать, как часто модель будет полезно учитывать предпочтения пользователя по сравнению с выдачей потенциально неверного ответа, сказал Дэн Бикел, руководитель направления ИИ в компании Writer, работавший над статьями. Как сообщил Бикел изданию TechCrunch, с каждым дополнительным сохранением предпочтений пользователя и их извлечением вы идете на все больший риск.
В одном из вариантов исследователи тестировали модели ИИ, записывая, что любимой книгой пользователя является Станция Одиннадцать, а затем просили модель назвать самую продаваемую книгу-антиутопию. Модели стали гораздо чаще называть в ответе Станцию Одиннадцать, хотя вопрос не касался любимой книги пользователя. Эта тенденция усиливалась при использовании инструментов сжатия памяти, таких как Mem0 и Zep.
Как отмечается в статье, все системы памяти фундаментально испытывают трудности с отделением релевантного контекста от нерелевантных якорей, что серьезно подрывает разнообразие и креативность и создает непреднамеренные пути возникновения смещений, способных ограничить полезность системы.
Вторая статья показывает, как та же динамика может активно снижать производительность: пользователю предъявлялись заблуждения о финансах, после чего модели предлагалось проанализировать показатели компании. Чем больше контекста было у модели, тем хуже она справлялась с задачей.
При отсутствии памяти и персонализации модель ИИ правильно оценивает, что компания является капиталоемким бизнесом, страдающим от высокого оттока клиентов, говорится в публикации. Но при включении этих функций она охотно изменит свой ответ, чтобы согласиться с ошибкой пользователя, или предоставит неверный ответ на основе оценки его предыдущих предпочтений.
Примечательно, что в исследовании не рассматривалась недавняя модель Opus 4.8 от Anthropic, которая была обучена активно противостоять ошибкам ввода, подобным представленным. Закономерности, обнаруженные исследователями, подтвердились для различных моделей. Это демонстрирует, насколько тонко сбалансированным может быть контекст ИИ и как полезные инструменты могут иметь непредвиденные последствия, если они нарушают этот баланс.
Поделиться
