«Диасофт» выводит на рынок объектное хранилище для Data Lakehouse и критичных данных

Компания «Диасофт» анонсирует выход продукта «S3 Архипелаг» – российского S3-совместимого хранилища, созданного для работы с петабайтами данных в архитектурах Data Lakehouse, аналитических системах и для консолидации разрозненных файловых хранилищ.

Продукт построен в высокопроизводительной архитектуре с отдельным масштабируемым слоем метаданных, что решает ключевую проблему деградации при росте числа файлов. Для объектного доступа реализован S3-совместимый API и файловые интерфейсы (S3, FUSE, WebDAV, HDFS, gRPC, REST) для работы на разных операционных системах. Об этом CNews сообщили представители «Диасофт».

Ключевые особенности «S3 Архипелаг»: оптимизация использования в составе Data Lakehouse, интеграция с Digital Q.DataFactory; линейная масштабируемость при работе с объектами произвольного размера – от сотен мегабайт до многотерабайтных объектов; поддержка сильной согласованности; поддержка «теплых» и «холодных» типов данных через гибкую иерархию; «горячая» репликация и перебалансировка; отказоустойчивость без SPOF; низкие требования к ресурсам; интеллектуальная оптимизация мелких объектов, позволяющая снизить совокупную стоимость владения (TCO) инфраструктурой хранения мелких файлов на 40-60%. За счет разделения слоев метаданных (Filer) и данных (Volume) потребляет в два-три раза меньше CPU и RAM, чем Ceph; управление временем жизни данных (TTL).

Два типа хранилища в одном

«S3 Архипелаг» заменяет два разнородных хранилища (объектного – для аналитики, файлового – для приложений) путем объединения их на единой платформе. Это сокращает затраты на оборудование и лицензии, а также операционные расходы на администрирование, мониторинг и бэкап.

Хранение данных

Продукт обеспечивает отказоустойчивое хранение критичных данных, включая огромные коллекции мелких файлов с помощью оптимизированной архитектуры («Master-Volume-Filer»). Такая архитектура обеспечивают линейную масштабируемость метаданных и позволяет хранить десятки и сотни миллиардов файлов без деградации производительности на операциях листинга и поиска.

Масштабирование «на лету»

«S3 Архипелаг» обеспечивает «горячее» масштабирование без перерывов: емкость и вычислительные ресурсы подключаются в работающий кластер простым добавлением узлов. Система автоматически перераспределяет данные для оптимальной нагрузки.

Высокая производительность

Чтобы подтвердить готовность «S3 Архипелаг» к работе с критичными и высоконагруженными системами, специалисты «Диасофт» провели серию тестов на эталонном стенде в среде Astra Linux Special Edition. Конфигурация из шести узлов (8 ядер, 32 ГБ RAM, NVMe-диски и сеть 10GbE) показала, что хранилище способно выдержать более 45 тыс. операций записи в секунду, сохраняя стабильное время отклика. Это в 2,4 раза выше, чем показал Ceph RGW в аналогичных условиях на том же оборудовании.

Такой результат – гарантия, что платформа справится с пиковыми нагрузками в реальном проекте. Например, в архитектуре Data Lakehouse, когда сотни потоков данных одновременно пишут сырую информацию в Bronze-слой, а движки Spark и Trino выполняют сложные запросы к Silver и Gold-слоям. Высокая производительность «S3 Архипелаг» позволяет наращивать объемы хранилища, просто добавляя серверы в кластер, без деградации скорости и сюрпризов при масштабировании.

Отказоустойчивость

Используется гибридная схема устойчивости. Для «горячих» данных настраивается многократная репликация для скорости, для «холодных» архивов применяется стирающее кодирование (Erasure Coding) с экономией дискового пространства до 40% по сравнению с трехкратной репликацией при сохранении сопоставимого уровня отказоустойчивости.

Защита информации

Продукт обеспечивает выполнение требований КИИ, ИСПДн и ГИС за счет встроенных механизмов: сквозное шифрование (AES-256, TLS 1.3), гранулярное управление доступом с интеграцией LDAP/AD/Kerberos, Object Lock для защиты от удаления и детальный аудит всех операций.

Планы развития продукта

Экстремальная оптимизация для Apache Iceberg и Hudi с целью повысить эффективность работы с фоновыми процессами, которые генерируют тысячи операций с файлами, снизив нагрузку и ускорив выполнение;

Углубленная интеграция с российской СУБД Digital Q.DataBase;

Автоматизация жизненного цикла данных с использованием AI для прогнозирующей оптимизации.