Arenadata Orchestrator: встроенная аналитика DuckDB и переход на Airflow 3

Группа Arenadata представила новую версию Arenadata Orchestrator (ADO) — решения для настройки и эксплуатации конвейеров данных в производственной среде. Релиз 3.0.0 расширяет аналитические возможности платформы и упрощает переход на следующее поколение Airflow, позволяя компаниям ускорять разработку и снижать операционные затраты. Об этом CNews сообщили представители Arenadata.

Arenadata Orchestrator — единая точка управления процессами дата-платформы, построенная на базе Apache Airflow с добавлением enterprise-функциональности для промышленной эксплуатации. Продукт предназначен для построения и мониторинга ETL/ELT-конвейеров, трансформации данных с использованием dbt, управления инфраструктурой и сквозной интеграции смежных систем. В состав ADO входит сервис GitSync для автоматической синхронизации граф задач (DAG) из репозиториев, поддерживается интеграция с HashiCorp Vault для централизованного хранения секретов, а также автоматизация развертывания и обновлений через Arenadata Cluster Manager (ADCM), что сокращает время вывода новых пайплайнов и упрощает их сопровождение.

Arenadata Orchestrator зарегистрирован в реестре российского программного обеспечения (номер записи 35046 от 7 сентября 2026 г.).

В новую версию Arenadata Orchestrator интегрирована высокопроизводительная in-process-аналитическая СУБД DuckDB, оптимизированная для быстрого выполнения запросов непосредственно в задачах конвейера. Это позволяет выполнять трансформацию данных без развертывания внешнего кластера, что снижает инфраструктурные затраты и упрощает архитектуру. Для работы с DuckDB добавлены соответствующий провайдер Airflow, а также расширения для интеграции с HDFS, Ozone (ofs) и Hive Metastore, обеспечивающие бесшовную работу с данными в экосистеме Arenadata. Кроме того, реализована интеграция DuckDB с системой управления секретами: добавлено расширение, позволяющее хранить persistent secrets DuckDB централизованно в HashiCorp Vault / OpenBao вместо локального хранения на хосте.

Ядро оркестратора обновлено до версии Airflow 3.2.1. Для упрощения перехода на новую мажорную версию добавлена утилита Airflow Migration Helper, которая проверяет существующие DAG на типичные несовместимости с Airflow 3 и помогает подготовить их к миграции, что снижает риски и трудозатраты при обновлении. Для повышения отказоустойчивости реализован НА-режим для Airflow API Server и появился компонент Airflow HAproxy, который обеспечивает балансировку нагрузки и высокую доступность компонентов управления, повышая устойчивость критичных процессов к сбоям.

Arenadata Orchestrator получил поддержку сбора и передачи метрик через vmagent для интеграции с централизованным мониторингом на базе VictoriaMetrics. Такой подход отделяет сбор метрик от их централизованного хранения и позволяет использовать единый современный стек мониторинга Arenadata.

Расширена поддержка российских операционных систем: добавлена совместимость с «Ред ОС» 8 (сертифицированной редакции). Дополнительно реализована поддержка дистрибутива Ubuntu 24.04 LTS, широко используемого в среде разработки и эксплуатации.

Георгий Живлюк, технический менеджер продукта Arenadata Orchestrator: «В релизе 3.0.0 мы сфокусировались на снижении стоимости владения платформой и безопасности миграции. Интеграция DuckDB позволяет анализировать данные прямо в задачах конвейера без развертывания внешних кластеров. Переход на ядро Airflow 3 стал предсказуемым благодаря утилите Airflow Migration Helper, минимизирующей риски для критических процессов. Кроме того, мы обновили стек мониторинга для экономии ресурсов инфраструктуры и обеспечили совместимость с сертифицированной версией РЕД ОС 8 для enterprise-заказчиков».