Релиз Arenadata Streaming: автобалансировка кластеров Kafka и экономия ресурсов CPU при передаче защищенных данных

Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). В состав продукта включены новый компонент Kafka Cruise Control, предназначенный для оптимизации работы кластеров Kafka, а также NiFi Processor для Arenadata DB собственной разработки. Кроме того, Arenadata Streaming получил поддержку модуля kTLS, снижающего затраты ресурсов в режиме шифрования, совместимость с защищенной ОС Astra Linux 1.7 и обновление версий сервисов. Об этом CNews сообщили представители Arenadata.

Kafka Cruise Control — инструмент для автоматического управления балансировкой рабочих нагрузок и масштабированием кластеров Kafka. Он позволяет перераспределять нагрузку и обеспечивать высокую доступность подключений для кластера ADS: Kafka в случае сбоя брокеров. Сервис упрощает управление крупными кластерами, снижая накладные расходы на их поддержку.

Александр Анисимов, технический руководитель продукта Arenadata Streaming: «Cruise Control ориентирован на крупные высоконагруженные кластеры Kafka в инфраструктуре, критичной к отказам. В таких инсталляциях важно свести к минимуму время простоя, автоматизировать динамическую балансировку, восстановление и управление ресурсами для непрерывной работы и высокой производительности».

В новой версии реализована интеграция Kafka с модулем kTLS в ядре Linux, который обеспечивает аппаратное ускорение для обработки шифрования TLS (Transport Layer Security). Поддержка kTLS в Arenadata Streaming позволяет снизить нагрузку на CPU при выполнении шифрования, тем самым повышая производительность системы и скорость передачи защищенных данных.

В дистрибутив Arenadata Streaming теперь включен NiFi ADB Processor, предназначенный для высокоскоростной параллельной записи данных из ADS: NiFi в Arenadata DB (ADB), распределенную аналитическую СУБД на базе технологий Greenplum.

Доработан также и Iceberg Sink Connector — инструмент для интеграции с Iceberg-таблицами, позволяющий записывать потоковые данные из Kafka в таблицы Iceberg без сложных ETL-процессов. В новой версии коннектора добавлена поддержка режима UPSERT, необходимого для реализации полноценного CDC, а также Kerberos-аутентификации на стороне Arenadata Hyperwave (ADH), гибридной платформы данных.

Начиная с версии 3.9.0.1.b1 Arenadata Streaming совместим с операционной системой Astra Linux 1.7 — сертифицированной ОС со встроенными верифицированными средствами защиты информации (СЗИ).

Возможности Arenadata Streaming

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет: в реальном времени строить потоковые конвейеры данных, надежно передающих данные между системами или приложениями; в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них; хранить потоки записей отказоустойчивым долговечным способом; разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в единый реестр российских программ для электронных вычислительных машин и баз данных.