Российский ученый, Борис Крюк, совместно с коллегами разработал новый подход к взаимодействию ИИ-агентов, который может изменить архитектуру распределённых систем искусственного интеллекта. Об этом CNews сообщили представители Бориса Крюка.
Протокол Q-KVComm позволяет агентам напрямую обмениваться сжатыми внутренними представлениями — так называемыми KV-кэшами, которые кодируют семантическое понимание контекста.
Разработка объединяет три инновационных механизма.
Адаптивное квантование с автоматическим распределением переменной разрядности (от четырех до восьми бит) в зависимости от чувствительности слоёв нейронной сети. В отличие от существующих методов с единообразным сжатием, система самостоятельно определяет оптимальную степень компрессии для каждого уровня модели.
Гибридное извлечение информации, сочетающее извлечение ключевых слов, распознавание именованных сущностей и специфичные для домена шаблоны. Система автоматически адаптируется к типу контента — от технической документации до нарративного текста.
Калибровка разнородных моделей через статистическое согласование, что позволяет агентам с различными архитектурами эффективно обмениваться информацией без необходимости унификации или дорогостоящего дообучения.
Экспериментальная проверка на трех различных наборах данных демонстрирует высокие показатели: сжатие в пять-шесть раз при сохранении семантической точности на уровне выше 77% во всех сценариях. Система работает стабильно с моделями размером от 1,1 до 1,5 млрд параметров.
Экономия пропускной способности варьируется от 1,86 ГБ для простых задач извлечения информации до 5,23 ГБ для сложных многоступенчатых рассуждений.
Q-KVComm включает производственно-готовые функции: управление памятью, LRU-кэширование и адаптивное сжатие, что делает ее пригодной для немедленного развёртывания в реальных условиях — на периферийных устройствах, в мобильных приложениях, в распределенных вычислениях.
«Устанавливая представленческую коммуникацию как жизнеспособную альтернативу текстовым подходам, Q-KVComm открывает новые архитектурные возможности для многоагентных LLM-систем», — сказали авторы.
Поделиться