Релиз Arenadata Streaming: развитие Data Lineage, высокая доступность и новые операционные системы

Группа Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). Релиз 4.1.0 сфокусирован на развитии инструментов отслеживания происхождения данных (Data Lineage), обеспечении отказоустойчивости сервисов и расширении поддержки российских операционных систем. Об этом CNews сообщили представители Arenadata.

В платформу внедрены инструменты для сквозного контроля потоков данных. В сервис Kafka Connect и Iceberg Sink Connector интегрирована поддержка репортера OpenMetadata, что позволяет автоматически фиксировать происхождение и структуру данных при их передаче в lakehouse-таблицы. Коннектор также получил функциональность сопоставления топиков Kafka с целевыми таблицами (topic-to-table mapping).

Для Schema Registry и Kafka REST Proxy реализован режим высокой доступности (НА), устраняющий единые точки отказа в данных сегментах, — балансировку нагрузки обеспечивает встроенный сервис HAProxy. Кроме того, теперь эти сервисы поддерживают последовательное обновление и перезапуск (Rolling Upgrade / Rolling Restart), что позволяет проводить плановое обслуживание инфраструктуры, не прерывая процесс сбора данных.

Александр Анисимов, технический руководитель продукта Arenadata Streaming: «В релизе мы закрываем требования корпоративных заказчиков к прозрачности и непрерывности потоковой обработки. Интеграция с OpenMetadata позволяет автоматизировать аудит данных на уровне компании, а поддержка режима высокой доступности сервисами Schema Registry и Kafka REST Proxy устраняет точки отказа в архитектуре стриминга».

Начиная с версии 4.1.0 Arenadata Streaming адаптирован к работе на новых версиях российских операционных систем «Ред ОС» 8 (сертифицированная редакция) и Astra Linux 1.8.6.

Обновление версий сервисов экосистем Kafka и NiFi, а также коннекторов Debezium позволяет повысить стабильность обработки потоков данных. Для NiFi 2 реализована поддержка плагина Ranger в рамках подсистемы безопасности Arenadata Platform Security (ADPS). В новой версии сервис выходит из режима технического превью в связи с получением всех необходимых для использования в производственной среде улучшений.

Вместе с данным релизом выпущена новая версия Arenadata Streaming Control (ADS Control) — решения для управления кластерами потоковой передачи. В сервисе добавлена совместимость с «Ред ОС» 8 (сертифицированная редакция) и Astra Linux 1.8.6.

Возможности Arenadata Streaming

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет: в реальном времени строить потоковые конвейеры данных, надежно передающие данные между системами или приложениями; в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них; хранить потоки записей отказоустойчивым долговечным способом; разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в единый реестр российских программ для электронных вычислительных машин и баз данных.