Orion soft усилил управление GPU в платформе Nova AI

Российский разработчик инфраструктурного ПО Orion soft выпустил обновление платформы Nova AI для разработки и промышленной эксплуатации ИИ/ML-сервисов. В новой версии появилось автоматическое распределение GPU между нагрузками, обновлены средства запуска моделей, расширены мониторинг инфраструктуры и возможности рабочих сред ML-инженеров. Об этом CNews сообщили представители Orion soft.

Nova AI — российская Kubernetes-платформа Orion soft для разработки и промышленной эксплуатации AI/ML-сервисов на инфраструктуре заказчика. Она объединяет GPU в кластер, распределяет вычислительные ресурсы между командами и проектами, предоставляет рабочие среды для ML-инженеров и инструменты для запуска и эксплуатации моделей. Ключевой принцип платформы — «эффективный ИИ — это управляемый ИИ».

Ключевое обновление Nova AI — новый механизм управления GPU. Планировщик Volcano автоматически ставит ИИ/ML-задачи в очередь, учитывает их приоритетность и определяет доступность вычислительных ресурсов. Это позволяет продуктивным сервисам, обучению моделей и экспериментам работать в одном кластере без постоянного ручного перераспределения мощностей.

Планировщик также учитывает вычислительную мощность и видеопамять GPU, распределяя задачи так, чтобы плотнее использовать доступные ресурсы. Так свободные мощности можно направлять на эксперименты и разработку, не резервируя их исключительно под возможные пики продуктивных сервисов.

«Когда число ИИ-проектов растет, команды начинают конкурировать за GPU. В этой ситуации задача инфраструктурной платформы — не просто предоставить вычислительные мощности, а распределять их в соответствии с приоритетами бизнеса. В новой версии Nova AI мы автоматизировали этот процесс: критичные сервисы получают необходимые ресурсы, а свободные мощности можно использовать для разработки и тестов. Это повышает эффективность эксплуатации без постоянного расширения инфраструктуры», — отметил Никита Векессер, руководитель продуктов Nova AI и StarGuard AI в Orion soft.

В Nova AI также обновлены inference backend KServe для TensorFlow, PyTorch, Triton и vLLM и добавлена поддержка SGLang. Актуализация компонентов в составе платформы сокращает объем самостоятельной интеграции и упрощает подготовку моделей к промышленному запуску.