Исследователи «Сколтеха» и Центра практического искусственного интеллекта Сбербанка предложили новый метод «Tона» для выявления галлюцинаций больших языковых моделей в системах с поиском по внешним источникам — RAG. Подход анализирует топологическую структуру карт внимания модели и позволяет обнаруживать ответы, которые не подтверждаются предоставленным контекстом. Метод не требует обучения дополнительных моделей и использует лишь небольшой объем размеченных примеров для настройки. Среди авторов исследования — доцент ??Сколтеха» Алексей Зайцев, руководитель совместной лаборатории «Сколтех-Сбербанк» (LARSS). Об этом CNews сообщили представители «Сколтеха».
Большие языковые модели все чаще становятся основой ИИ-ассистентов и автономных агентов. Чтобы повысить точность их ответов, современные системы нередко используют технологию RAG: перед генерацией модель получает дополнительную информацию из корпоративных баз знаний, документов или других внешних источников. Однако даже в этом случае она может создавать правдоподобные ответы, которые не следуют из предоставленного контекста.
Выявлять такие ошибки позволяют специальные методы детекции галлюцинаций, но многие существующие решения требуют либо большого объёма размеченных данных, либо дополнительных вычислений — например, многократной генерации ответа для последующего сравнения результатов.
Предложенный авторами метод «Tона» (Tоpology-based Hаllucination detector) использует другой подход. Исследователи анализируют матрицы внимания языковой модели и представляют их в виде графов. Для них рассчитывается топологическая характеристика MTop-Div, которая показывает различия между структурой подграфов, соответствующих исходному контексту и сгенерированному ответу.
Исследование показало, что для отдельных голов механизма внимания более высокие значения такой топологической дивергенции устойчиво связаны с ответами, которые не подтверждаются исходным контекстом. Это позволяет использовать внутренние сигналы самой языковой модели для оценки достоверности ее ответа. Авторы проверили подход на задачах ответов на вопросы и суммаризации текста. На нескольких бенчмарках «Tона» показал результаты на уровне современных методов или превзошел их при небольших требованиях к размеченным данным и вычислительным ресурсам.
Одно из преимуществ метода — отсутствие необходимости обучать отдельный классификатор. Для настройки достаточно небольшого набора примеров, после чего выбранные информативные головы внимания используются для оценки новых ответов. По данным авторов, «Tона» показывает результаты, сопоставимые с существенно более вычислительно затратным методом SelfCheckGPT, который предполагает несколько генераций ответа.
«При использовании языковых моделей в прикладных системах важно не только получить убедительно звучащий ответ, но и понять, действительно ли он основан на информации, которая была предоставлена модели, — сказал Алексей Зайцев. — В этой работе мы показываем, что такой сигнал можно извлечь из внутреннего описания текста моделью, если правильно на него посмотреть. Активация специальных топологических признаков сигнализирует о потенциальных галлюцинациях, не требуя обучения дополнительной модели-детектора и многократной генерации ответов».
«Борьба с ИИ-галлюцинациями выходит на новый уровень. Разработанный совместно со ??Сколтехом» метод «Tона» доказывает: надежность не обязательно требует больших затрат, — сказал Сергей Рябов, старший управляющий директор, директор по ИИ-трансформации Сбербанка. — Вместо масштабной разметки данных мы используем точечную настройку внимания модели, заставляя её жестко придерживаться контекста и самостоятельно корректировать неточности. Технология уже встроена в открытую библиотеку Sirin, что делает ее доступной для создания корпоративных ассистентов, работающих с базами знаний. Это новый стандарт доверия к ответам искусственного интеллекта».
Практическая реализация подхода уже включена в открытую библиотеку Sirin, разработанную исследователями Центра практического ИИ Сбербанка для выявления и анализа контекстных несоответствий в системах на базе больших языковых моделей. Это позволяет использовать метод при разработке ИИ-ассистентов и других решений, работающих с корпоративными базами знаний и документами.
Для компаний такой инструмент может быть особенно востребован в областях, где ошибки ИИ-систем связаны с финансовыми, юридическими или репутационными рисками, например, в банках, страховых организациях и юридических сервисах. Для исследователей работа также показывает новый способ изучения внутренних механизмов языковых моделей с помощью топологических характеристик графов внимания.
Работа выполнена в рамках совместной научно-исследовательской деятельности Сбербанка и «Сколтеха».
Поделиться
