Компания «Е-Флопс» совместно с партнером ??АМДтехнологии» разработали высокопроизводительный вычислительный комплекс (суперкомпьютер) для решения задач в области искусственного интеллекта. Его архитектура предусматривает дальнейшее расширение, как вычислительных узлов, так и сетевой инфраструктуры. Об этом CNews сообщили представители «Е-Флопс».
Суперкомпьютер ориентирован на ресурсоемкие прикладные задачи бизнеса: обучение больших языковых моделей (LLM) в рамках MLOps-конвейера, запуск и сопровождение LLM- сервисов для внутреннего использования, а также предоставление пользователям системы доступа к LLM и инструментам вайбкодинга. Вычислительный комплекс обладает возможностью параллельного выполнения сложных вычислений с высокой производительностью.
Основные технические параметры вычислительного комплекса: 22 узла на базе графических ускорителей Nvidia H100 80GB и x86 центральных процессоров обеспечивают пиковую мощность свыше 11 Пфлопс (FP64) для научных расчетов и более 700 Пфлопс (FP8/INT8) для задач ИИ. Суперкомпьютер включает более 4200 процессорных ядер, почти 34 ТБ оперативной памяти вычислительных узлов и около 14 ТБ памяти GPU, а также почти 3 млн ядер CUDA и свыше 92 тыс. тензорных ядер.
Вычислительный комплекс отличает гибридная кластерная архитектура. Была поставлена задача создать два физически изолированных сегмента: внутренний, размещенный внутри безопасного периметра без выхода в интернет, и внешний, доступный для сторонних пользователей. Оба сегмента используют одинаковые серверные платформы, что позволяет при необходимости физически переключать вычислительные узлы между сегментами для балансировки нагрузки.
Внутренний сегмент оптимизирован исключительно под ИИ?задачи и активно применяет контейнеризацию (Kubernetes), тогда как внешний сегмент универсален – поддерживает как ИИ?нагрузки, так и классические HPC-расчеты с двойной точностью. При этом внутренний сегмент реализован по гиперконвергентной модели, где каждый узел одновременно выполняет вычислительные функции и функции хранения данных. Внешний сегмент, напротив, содержит три выделенных сервера управления и две выделенные системы хранения данных.
Сетевая инфраструктура построена на трех физически разделенных сетях. Для высокоскоростного обмена между узлами и подключения системы хранения данных (СХД) внешнего сегмента используется InfiniBand HDR с пропускной способностью 200 Гбит/с от каждого GPU, что дает суммарно не менее 1600 Гбит/с на узел в одном направлении с неблокируемым доступом в топологии Fat Tree. Для связи с локальной сетью заказчика применяется 25?гигабитный Ethernet, а для управления – 10?гигабитный Ethernet. Дополнительно во внутреннем сегменте развернута сеть хранения данных на базе Fibre Channel 32 Гбит/с для подключения к объектному хранилищу.
Подсистема хранения данных организована следующим образом. Во внешнем контуре установлена выделенная СХД с поддержкой иерархического хранения: «горячие» данные размещаются на SSD?накопителях общим сырым объемом 61 ТБ, а «холодные» – на массивах HDD емкостью 2 ПБ. Во внутреннем сегменте используется распределенное гиперконвергентное хранилище, которое масштабируется линейно вместе с ростом числа вычислительных узлов.
Программное обеспечение включает средства мониторинга и управления (в том числе Nvidia DCGM для контроля GPU), систему визуализации и анализа данных на базе открытых пакетов, а также платформу оркестрации Kubernetes с модулями Multus и Cilium. Внешний сегмент дополнительно поддерживает планировщик задач Slurm. Управляющие серверы работают в виртуальной среде Proxmox.
Особое внимание уделено информационной безопасности – оба сегмента соответствуют строгим требованиям крупного бизнеса к защите данных, особенно внутренний, работающий в изолированном контуре. Все стойки размещены в сертифицированном ЦОДе с контролем доступа и разделением холодных и горячих коридоров. Суперкомпьютер уже введен в эксплуатацию в одном из российских банков из топ-10.
«Созданный суперкомпьютер – это не просто мощное оборудование, а интегрированное решение, учитывающее специфику ИИ-задач для финансовой сферы. Главный вызов проекта – эффективно совместить требования крупного бизнеса к высокой производительности, масштабируемости и информационной безопасности в одном решении. Мы готовы и далее наращивать вычислительные мощности вычислительного комплекса», – отметила генеральный директор «Е-Флопс» Елена Дорошенко.
Поделиться
