Arenadata официально представила облачную платформу Arenadata One

Arenadata представила Arenadata One (AD.One) — новую cloud-native-платформу для обработки и хранения данных. Она предназначена для работы в эластичной облачной инфраструктуре под управлением оркестратора Kubernetes и совместима с объектным хранилищем на базе протокола S3. Платформа обеспечивает простоту масштабирования, гибкость управления и универсальность работы с данными различных форматов, сочетая как аналитическую, так и транзакционную нагрузку. Об этом CNews сообщили представители Arenadata.

Согласно исследованиям Arenadata, в крупных компаниях аналитические СУБД простаивают 40–50% рабочего времени. Это связано с тем, что классические технологии для аналитических и транзакционных задач, размещенные на bare-metal для максимальной производительности при однородных спланированных нагрузках, требуют резервации оборудования в кластере при плавающих ее пиках, что в свою очередь ведет к простоям «железа» и увеличению стоимости владения системой хранения.

Arenadata One сочетает мультитенантную архитектуру с низким T2M (time-to-market) DBaaS-решения. Платформа обеспечивает изолированное обслуживание различных групп пользователей в рамках единой инфраструктуры, одновременно предлагая технологии в составе для развертывания базы данных «по требованию». В модели DBaaS облачный провайдер берет на себя управление инфраструктурой, настройкой, масштабированием и обслуживанием баз данных, предоставляя пользователям удобный доступ к сервису через API и веб-интерфейс. DBaaS-функциональность доступна не только в публичном облаке, она может быть развернута и в приватной инфраструктуре заказчика.

«Arenadata One — это принципиально новый подход к инфраструктуре хранения в экономике данных при повсеместном внедрении технологий искусственного интеллекта и машинного обучения. Мы создали платформу, которая не просто решает текущие задачи заказчиков, но ориентирована на бизнес-вызовы завтрашнего дня. Arenadata One позволяет извлекать максимум выгоды из дорогостоящего актива данных, делая их реальным двигателем бизнеса — с минимальными простоями оборудования и глубоким анализом расходов на обработку и хранение, выводя экономику платформы данных на новый уровень. Это возможно благодаря доступным сценариям автомасштабирования, переиспользования вычислительных мощностей, хранения в едином унифицированном хранилище с поддержкой протокола S3, а также модели оплаты за используемые ресурсы облачного провайдера (pay-as-you-go) и аллокации затрат между структурными подразделениями компании, которые пользуются данными. Внедрение в бизнес новых технологий, таких как большие языковые модели (LLM), операции машинного обучения, промышленный интернет вещей, а также непрерывное увеличение стоимости владения данными требуют новых подходов к построению инфраструктуры хранения. Гибридная архитектура платформы Arenadata One дает клиентам свободу выбора: развернуть ли все в частном облаке, использовать облако провайдера или найти оптимальный баланс между различными типами размещения под свои задачи», — отметил Александр Виноградов, директор бизнес-направления облачных продуктов Arenadata.

AD.One решает такие задачи, как: построение Lakehouse; real-time-аналитика; хранение векторов и features; база данных по требованию.

Возможности Arenadata One

Архитектурное разделение Compute и Storage. Гибкий подход к утилизации аппаратных мощностей за счет изоляции/разделения ресурсов и автомасштабирования Compute, в том числе scale-to-zero.

Интегрированное cloud-native OLTP- и ИИ-хранилище. Горизонтально масштабируемые компоненты, использующие RAM и Disk для real-time-аналитики, хранения векторов и features.

Снижение OpEx и CapEx. Уменьшение затрат на хранение и обработку данных, повышенная окупаемость инвестиций (ROI), снижение совокупной стоимости владения (TCO) и сокращение времени вывода продуктов на рынок (T2M).

Multi-tier-архитектура. Механизм температурного хранения и обработки данных на основе приоритетов пользователей и требований бизнеса.

Data Governance. Интегрированное средство управления моделью, качеством и связанностью данных, неотрывно связанное с Compute и Storage.

Storage S3. Единый стандарт унифицированного хранения, который позволяет хранить данные и резервные копии в одном Storage с возможностью аналитики, в том числе над бэкапами.

Hybrid Cloud. Сервис для построения гибридного облачного хранения, где часть Compute и Storage находится в инфраструктуре заказчика, а часть — у облачного провайдера.

Data-платформа Arenadata One объединяет в одной self-service консоли управления две взаимодополняющие версии: Arenadata One OLAP (Online Analytical Processing) Edition и Arenadata One OLTP (Online Transaction Processing) Edition.

Arenadata One OLAP Edition поддерживает аналитические задачи: интерактивный анализ данных и регулярная отчетность; полный цикл Data Science — от экспериментов до промышленного ML; федеративные запросы к распределенным источникам; предиктивное моделирование и риск-аналитика; построение сложных финансовых моделей; обработка высоконагруженных аналитических workloads.

Особенности OLAP-версии: упрощенная работа с аналитикой в едином окружении за счет связанности всех компонентов платформы с минимумом ручных настроек; быстрый запуск и масштабируемость — автоматизация с помощью Kuberneter Operator и управление всей системой из единой консоли; повышенная безопасность — внедренная авторизация для Apache Ranger и расширенный мониторинг; бесшовная интеграция всех компонентов системы, настроенных на совместную работу «из коробки».

Технологическая основа Arenadata One OLAP Edition

Вычислительные ядра: Apache Spark — движок для обработки данных, машинного обучения и ETL; Apache Impala — MPP-движок для SQL-аналитики Big Data.

Инструменты интеграции: Trino — федеративные запросы к гетерогенным источникам; Apache Airflow — оркестрация сложных data-pipeline; Apache Kafka® — потоковая обработка событий в реальном времени; Apache Flink® — сложные stateful-преобразования потоковых данных.

Arenadata One OLTP Edition

В основе Arenadata One OLTP Edition лежат технологии Neon и Picodata.

Neon — serverless-реализация PostgreSQL, созданная для работы в эластичных облачных средах как полностью управляемый сервис. Сохраняет полную совместимость с «ванильной» версией PostgreSQL.

Среди функциональных возможностей Neon — динамическое автомасштабирование ресурсов, функция scale-to-zero для экономии ресурсов, ветвление (branching) данных, в частности для оптимизации процессов CI/CD, централизованное управление экземплярами Postgres через единый UI-интерфейс, поддержка Postgres Extensions для работы с векторными данными и features.

Picodata — система распределенных вычислений в оперативной памяти, которая помогает реализовать real-time-сценарии обработки данных, включая горячее хранение векторов и features для работы с большими языковыми моделями (LLM), а также токенизацию чувствительных данных, в том числе для соблюдений требований № 152-ФЗ при работе с персональными данными в гибридных архитектурах.

Также в планах — реализация собственной технологии Multitiering Data Migration для миграции данных между системами с разной производительностью и температурой хранения, позволяющей прогревать и обеспечить быстрый доступ к данным.

Сценарии использования: анализ данных – real-time-аналитика, витрины данных, поведенческая аналитика, сбор и анализ телеметрии, база данных по требованию; хранение векторов и features для ИИ – Copilot’s, AI & RAG чат-боты, семантический и гибридный поиск, и др.

Платформа имеет интегрированные средства мониторинга, оркестрации, а также управления данными для реализации концепции Data Governance. Повышенное внимание уделено информационной безопасности при работе с данными — ролевая модель позволяет настраивать права доступа на уровнях строчек и столбцов, есть встроенные средства авторизации и аутентификации, интеграция с популярными SIEM-системами.

Arenadata One полностью готова к коммерческому старту.