«Диасофт» автоматизирует полный цикл работы с ML-моделями

Компания «Диасофт» выводит на рынок новый продукт «Управление жизненным циклом машинного обучения», который вошел в состав платформы «Фабрика данных» (Digital Q.DataFactory). Продукт предназначен для организации полного цикла работы с моделями машинного обучения (МL, Machine Learning) – от проведения экспериментов и управления версиями до промышленного развертывания, мониторинга и сопровождения моделей. Об этом CNews сообщили представители «Диасофт».

Компании финансового и промышленного секторов внедряют технологии машинного обучения для повышения эффективности бизнес-процессов и создания новых цифровых сервисов. Однако масштабирование ML-проектов зачастую сопровождается отсутствием единого подхода к управлению экспериментами, сложностями воспроизводимости результатов, высокими операционными рисками и значительными затратами на вывод моделей в промышленную эксплуатацию.

Для решения этих задач специалисты «Диасофт» разработали продукт «Управление жизненным циклом машинного обучения», который обеспечивает централизованное управление всеми этапами работы с ML-моделями в едином технологическом контуре организации.

В числе ключевых возможностей продукта: централизованное управление экспериментами с сохранением параметров, метрик, программного кода и артефактов для полной воспроизводимости результатов; ведение реестра моделей с поддержкой версионирования и разметка данных моделей на различных стадиях жизненного цикла; автоматизация развертывания моделей в различных средах – локальной инфраструктуре, облаке или on-premise-контурах; мониторинг работы моделей, логирование предсказаний и контроль дрейфа данных для поддержания стабильности и качества результатов; интеграция с популярными ML-фреймворками, включая PyTorch, TensorFlow и Scikit-learn, а также работа с проектами в формате контейнеров; предоставление бизнес-пользователям доступа к прогнозным моделям через чат-бот без необходимости работы с API и программным кодом.

«Важно консолидировать в едином контуре заказчика как эксперименты, так и модели, развернутые в реальных рабочих средах. В отличие от разрозненных инструментов, наш продукт обеспечивает сквозную автоматизацию. Ключевое преимущество продукта – готовая отечественная альтернатива зарубежным решениям, которая обеспечивает независимость от иностранных лицензий, соответствует требованиям информационной безопасности и снижает операционные затраты на внедрение технологий машинного обучения», – сказал Илья Шуйков, руководитель продукта «Фабрика данных» компании «Диасофт».

Продукт использует Kubeflow Pipelines (KFP) для автоматизации полного цикла работы с моделями машинного обучения – от подготовки данных и обучения до развертывания в Kubernetes. Для промышленного инференса применяется KServe, который автоматически публикует модели из реестра как масштабируемые REST-сервисы с поддержкой GPU, canary- и blue-green-развертываний и автоматического восстановления после сбоев. В состав продукта также входят хранилище признаков (Feature Store) на базе Valkey и Apache Iceberg, единая аутентификация через Digital Q.Security (SSO/OIDC), а также Trainer Operator для запуска и управления распределенным обучением моделей в кластере Kubernetes.

Продукт может выступать в качестве отечественной альтернативы MLflow и другим зарубежным платформам управления жизненным циклом моделей машинного обучения.

С помощью продукта «Управление жизненным циклом машинного обучения» можно как создавать новые ML-сервисы, так и централизованно управлять существующим ландшафтом ML-моделей в крупных организациях.