Студенты ИТМО разработали фреймворк для тестирования чат-ботов на уязвимости с точностью 89%

Фреймворк LLAMATOR, разработанный студентами AI Talent Hub, магистратуры по искусственному интеллекту ИТМО и Napoleon IT, в рамках совместной исследовательской лаборатории с AI-интегратором Raft, обеспечивает автоматизированную проверку систем на базе больших языковых моделей и помогает компаниям выявлять уязвимости в чат-ботах на основе LLM с точностью выше 85%. Об этом CNews сообщили представители ИТМО.

Фреймворк LLAMATOR, разработанный в рамках лаборатории AI Security Lab, предупреждает выдачу противоречивой информации, чувствительных данных и недопустимого контента системами на основе больших языковых моделей, в частности коммерческими чат-ботами. Это позволяет минимизировать юридические и репутационные риски компаний, которые используют чат-боты для взаимодействия с клиентами и сотрудниками.

В отличие от других решений на рынке, LLAMATOR не просто проверяет систему на устойчивость к внешним атакам единичными запросами, а ведет с ней полноценные автоматизированные диалоги, подбирая и улучшая атакующую стратегию на основе ответов системы. Фреймворк умеет тестировать модели как на английском, так и на русском языке и поддерживает широкий спектр тестов — от простых промпт-инъекций до глубокой проверки на галлюцинации и некорректные генерации..

«Одна из главных сложностей заключалась в создании модели, способной реалистично имитировать человеческое взаимодействие. Мы провели множество экспериментов с подбором атакующей модели и ее системного промпта — нам удалось добиться 89-процентной точности выявления уязвимостей с помощью подхода LLM-as-a-Judge», — отметил Тимур Низамов, один из разработчиков решения LLAMATOR.

Фреймворк поставляется по freemium-модели: его исходный код открыт, но команда разработчиков может провести комплексный аудит безопасности чат-ботов и ИИ-систем по запросу компании. LLAMATOR интегрируется с различными платформами, включая Web, REST API, Telegram, W******p и др.

В ближайшее время планируется масштабировать решение для тестирования мультиагентных ИИ-систем и систематической коммерческой эксплуатации. Уже сейчас ведутся переговоры о технологическом и методологическом сотрудничестве с потенциальными клиентами и крупными ИИ-вендорами.