Релиз Arenadata Streaming: интеграция с Ozone и обновление технологической платформы

Группа Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). Релиз ADS 3.9.1.2.b1 включает ряд функциональных и технологических обновлений, направленных на повышение производительности, безопасности и удобства эксплуатации кластеров. Об этом CNews сообщили представители Arenadata.

Ключевое улучшение версии — поддержка сервиса Ozone, входящего в состав гибридной платформы Arenadata Hyperwave. Интеграция позволяет использовать масштабируемое объектное хранилище для задач потоковой обработки. Теперь можно записывать данные из Kafka в iceberg-таблицы с помощью Iceberg Sink Connector, а также передавать «холодные» данные, требующие длительного хранения, в более экономичное S3-хранилище с помощью опции Kafka Tiered Storage.

Начиная с новой версии Arenadata Streaming режим Kafka Raft (KRaft) доступен для использования в производственных средах. Протокол согласования KRaft предназначен для управления метаданными внутри Kafka, что позволяет устранить зависимость от внешнего сервиса (ZooKeeper), упростить работу с Kafka, сократить целевое время восстановления системы (RTO) и кратно увеличить доступное число партиций, поддерживаемых одним кластером. Для поддержки режима KRaft в новой версии ADS улучшена работа сервиса Monitoring.

Расширены возможности NiFi 21: в Monitoring добавлен дашборд с метриками этого сервиса. Кроме того, в релизе оптимизированы операции с кластером и сервисами: сокращено время выполнения операций запуска, остановки и перезапуска кластера, а также время выполнения перезапуска Kafka.

Обновления затронули и технологическую основу продукта. Дистрибутив Arenadata Streaming переведен на Java 21 для сборки и работы всех сервисов и использует Ansible 2.16. Это позволит повысить производительность, стабильность и безопасность, а также подготовить инфраструктуру к будущим обновлениям поддерживаемых операционных систем.

Александр Анисимов, технический руководитель продукта Arenadata Streaming: «В новой версии Arenadata Streaming мы сфокусировались на расширении интеграций и укреплении технологического фундамента платформы. Поддержка Ozone из экосистемы Arenadata Hyperwave позволит нашим клиентам создавать эффективные гибридные решения, объединяя потоковую обработку с lakehouse-архитектурами. Переход на Java 21 и Ansible 2.16 — шаг для обеспечения долгосрочной актуальности и безопасности».

Возможности Arenadata Streaming

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет: в реальном времени строить потоковые конвейеры данных, надежно передающих данные между системами или приложениями; в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них; хранить потоки записей отказоустойчивым долговечным способом; разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в единый реестр российских программ для электронных вычислительных машин и баз данных.