Релиз Arenadata Hyperwave: защита доступа к конфиденциальным данным и новые сценарии выполнения аналитических запросов

Arenadata представила новую версию Arenadata Hyperwave (ADH) — гибридной платформы для хранения, обработки и анализа данных любой структуры и объема. Релиз ADH 4.1.0 включает обновление компонентов, новый сервис для управления доступами к конфиденциальным данным, а также поддержку российских операционных систем. Об этом CNews сообщили представители Arenadata.

В релизе Arenadata Hyperwave обновлены версии сервисов, включая S3-совместимое хранилище объектов Ozone. Оно получило улучшенную архитектуру хранения, адаптированную к работе с большими объемами данных, новые алгоритмы обработки метаданных, механизмы восстановления и отказоустойчивости, а также расширенную поддержку шифрования, аутентификации и контроля доступа.

В новой версии Trino, SQL-движка для сложных федеративных запросов, реализован балансировщик нагрузки HAproxy, предназначенный для обеспечения отказоустойчивости, масштабируемости и высокой доступности, а также Trino Client, позволяющий выполнять SQL-запросы и управлять соединениями. Добавлена поддержка Hadoop SQL-политик в Trino, позволяющая избежать дублирования настроек авторизации. Начиная с Arenadata Hyperwave 4.1.0 в поставку включен Trino OpenAPI-коннектор — инструмент для взаимодействия с REST API, позволяющий выполнять аналитические запросы к внешним сервисам и данным, доступным через REST API.

Flink 2 и Spark 4 дополнили предыдущие поколения сервисов, входящих в состав дистрибутива.

Flink 2 решает известные ограничения Flink 1.x в области управления состоянием и обработки гибридных рабочих нагрузок, объединяя ряд улучшений для работы как в потоковых, так и в пакетных сценариях. Новый адаптивный планировщик автоматически оптимизирует параллелизм операций, повышая общую эффективность платформы. Архитектура управления дезагрегированным состоянием позволяет более эффективно использовать ресурсы в облачных средах, гарантируя высокопроизводительную обработку в реальном времени и сводя к минимуму затраты ресурсов.

Spark 4 содержит ряд архитектурных изменений и оптимизаций. В числе особенностей — улучшенная производительность при выполнении сложных аналитических запросов, расширенная интеграция с Iceberg и другими современными форматами, новые функции для работы с потоковыми данными. Cервис развивается в сторону стандартизации подходов, предоставляя новую клиент-серверную архитектуру Spark Connect, развитие совместимости с ANSI SQL и другие улучшения.

Сервисы Flink 2 и Spark 4 предназначены для ознакомления в режиме технологического превью и в настоящее время не рекомендованы для продуктивного использования.

Вместе с Arenadata Hyperwave выпущено обновление подсистемы безопасности Arenadata Platform Security (ADPS). Начиная с версии ADPS 2.0.0 в ее состав включен новый сервис OpenBao — система управления доступами к секретам и шифрованием. Система обеспечивает возможности для хранения, генерации, шифрования и отзыва конфиденциальных данных (например, API-ключей, сертификатов, паролей), предоставляет средства аудита и управления политиками, выступая как единая и безопасная система учета доступов.

В релизе обновлен сервис Ranger, в числе доработок — поддержка ротации логов аудита распределенной файловой системы HDFS, плагины hive-chained-plugin для HDFS и Ozone, а также компонент Resource Mapping Manager, позволяющий сопоставлять ресурсы и права на них между Hadoop SQL и Storage (HDFS, Ozone) политиками.

Новые версии Arenadata Hyperwave и Arenadata Platform Security совместимы с российскими операционными системами «Альт СП» (релиз 10) и Astra Linux 1.7 «Воронеж». Поддержка сертифицированных ФСТЭК России операционных систем позволяет интегрировать продукты в более широкий спектр инфраструктур с повышенными требованиями к безопасности.

Возможности Arenadata Hyperwave

Arenadata Hyperwave (ADH) — платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объема. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.

Решаемые задачи:

– хранение, обработка больших объемов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);

– распределенная обработка информации;

– построение озер данных, Lakehouse и Data Mesh (единый центр всех данных компании, быстрое развертывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);

– машинное обучение и искусственный интеллект;

– импортозамещение и разгрузка систем зарубежных вендоров.

На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.