Arenadata Hyperwave: развитие концепции Streamhouse, интеграция StarRocks и Paimon, новые функции безопасности

Группа Arenadata представила новую версию гибридной платформы данных Arenadata Hyperwave (ADH) 4.4.0. Ключевые изменения — интеграция OLAP-движка StarRocks и поддержка табличного формата Apache Paimon. Релиз продолжает развитие концепции Streamhouse для аналитики в реальном времени, но не ограничивается ею: платформа даёт больше вариантов при построении архитектуры данных — можно выбирать движки, табличные форматы и сценарии обработки, включая быстрый SQL и работу с потоковыми данными. Об этом CNews сообщили представители Arenadata.

Добавление StarRocks расширяет возможности выполнения быстрых SQL-запросов при работе с большими объёмами данных. В релизе реализована интеграция сервиса с плагином безопасности Ranger, а при работе с внешними каталогами (Iceberg и Hive) добавлены поддержка Kerberos и имперсонация пользователей для разграничения доступа. Управлять топологией и конфигурацией СУБД можно через интерфейс платформы. Внутренний трафик сервиса защищён шифрованием, а архитектура рассчитана на запуск в изолированных средах.

Поддержка Paimon 2.0 предоставляет еще один инструмент для построения современных хранилищ данных. В Arenadata Hyperwave сервис поставляется со встроенной поддержкой Spark 3 и 4, Hive, Trino (через предустановленный каталог) и Flink.

Изменения в вычислительных движках нацелены на интеграцию компонентов. Для Spark 4 добавлено удаленное подключение через Spark Connect на базе многопользовательского шлюза Kyuubi. В Kyuubi появилась поддержка профилей — это позволяет параллельно выводить новую версию Spark, не прерывая работу пользователей на предыдущей, и безопасно управлять такими переходами. Реализована интеграция с Kyuubi Arrow Flight SQL: он не только ускоряет аналитические запросы, но и открывает доступ для клиентов, которым нужны протоколы ODBC и ADBC. В сервисе Flink 2 появилась нативная поддержка таблиц Iceberg, что упрощает построение сквозных конвейеров обработки данных.

Обновления интерфейсов и автоматизации хранения затронули работу с метаданными и репликацией. В веб-интерфейсе HUE добавлено автодополнение для табличных выражений (CTE) и поддержка нескольких конечных точек для Ozone и HDFS. В панели управления HBase реализована аутентификация пользователей через LDAP. Сервис Smart Storage Manager (SSM) получил функцию фильтрации событий при репликации данных между кластерами, которая позволяет снизить нагрузку на сеть и делает репликацию более гибкой и управляемой. Обновлённый Trino ADB Connector поддерживает распределённое чтение и запись, а также прямой перенос текстовых фильтров (text pushdown).

Обновления в части безопасности и совместимости упрощают встраивание платформы в корпоративный контур. Коннекторы Trino теперь работают с системой управления секретами OpenBao. В HUE настроен контроль доступа для интерпретатора Kyuubi, а для Spark 4 добавлено действие по управлению плагином Ranger. Защита периметра усилена поддержкой TLS v1.3, а в ZooKeeper появились параметры для включения TLS и SASL. Arenadata Hyperwave 4.4.0 совместима с российскими операционными системами «Ред ОС 8.0» и Astra Linux 1.8.6, а также с новой системой мониторинга Arenadata Monitoring (ADM) 5.0.

Одновременно выпущена новая версия подсистемы безопасности Arenadata Platform Security (ADPS). В ней добавлена поддержка операционных систем «Ред ОС 8.0» и Astra Linux 1.8.6. Кроме того, в бандл включён агент vmagent для автоматической передачи преднастроенных дашбордов в систему мониторинга ADM 5.0.

Александр Анисимов, технический руководитель продукта Arenadata Hyperwave: «В версии 4.4.0 мы развиваем ADH в двух направлениях: расширяем выбор движков и форматов для аналитики и усиливаем безопасность. StarRocks и Paimon добавляют сценарии быстрого SQL и потоковой обработки, а изоляция вычислительных сред и работа коннекторов Trino с OpenBao упрощают развёртывание в контурах с жёсткими требованиями».

Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объёма. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Streamhouse.

Решаемые задачи: хранение, обработка больших объемов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД); распределенная обработка информации; построение озер данных, lakehouse и streamhouse (единый центр всех данных компании, быстрое развертывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде); машинное обучение и искусственный интеллект; импортозамещение и разгрузка систем зарубежных вендоров.

На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включнн в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.