В платформе Digital Q.DataFlows от «Диасофт» добавлена возможность настраивать сценарии загрузки данных

Компания «Диасофт» развивает возможности технологической low-code платформы для управления данными Digital Q.DataFlows, которая включает в себя продукты «Интеграция данных», «Каталог данных» и «Дизайнер контроля качества». Платформа сокращает трудозатраты на построение процессов подготовки данных за счет преднастроенных сценариев загрузки данных. Об этом CNews сообщили представители «Диасофт».

Загрузка данных стала проще

Чтобы обновить данные в таблице, пользователю теперь не нужно самому создавать временные таблицы, писать SQL-скрипты для сравнения и переноса данных. Достаточно в продукте «Интеграция данных» выбрать один из трех сценариев загрузки данных:

– Добавление – это сценарий, в котором данные добавляются с предварительной очисткой по условию или без, а также с возможностью создания резервной копии данных.

– Инкрементальное обновление – сценарий, в котором происходит обновление данных по ключевому набору атрибутов; данные можно обновить, добавить или удалить в любой комбинации, при этом используя технические таблицы, которые автоматически создаются и удаляются.

– Пересоздание таблицы – сценарий, в котором данные в таблице-приемнике полностью заменяются новыми.

SQL-запросы для создания резервных копий, временных технических таблиц, обновления, добавления или удаления данных генерируются автоматически на основе описания объектов в ходе проектирования процессов подготовки данных в продукте «Интеграция данных» технологической платформы Digital Q.DataFlows.

Работа со сложными структурами без преобразований

В инфраструктурной платформе Digital Q.NiFi уменьшены задержки при обработке потоковых данных, а также оптимизирована работа компонентов, которые работают со сложными XML и JSON файлами.

Также в продукте «Интеграция данных» технологической платформы Digital Q.DataFlows улучшен функционал по работе со сложными вложенными структурами. Достаточно настроить визуальный маппинг, а система сама обработает ответ и разложит по полям в визуальном компоненте сопоставления схем данных, без необходимости писать JOLT- или XSLT-преобразования.

Технологическая платформа Digital Q.DataFlows позволяет ускорить реализацию процессов подготовки данных и загрузку данных за счет встроенных low-code инструментов.

Платформа Digital Q.DataFlows входит в экосистему low-code разработки микросервисных программных продуктов Digital Q и включена в реестр российского программного обеспечения (запись № 16802 от 1 марта 2023 г.).