Вышло обновление Modus ETL. Об этом CNews сообщили представители Modus.
Получение данных из источников
Добавлена быстрая загрузка больших файлов форматов XLSX и CSV. Теперь один млн записей XLSX грузится за 53 сек, а четыре млн записей CSV грузятся за 32 сек.
Доработан механизм получения структуры метаданных хранилища из баз «1С»: повторное получение списка доступных таблиц и состава их полей (обновление метаданных) из баз данных «1С» теперь происходит в ~5 раз быстрее.
Улучшен механизм проверки корректности пользовательских настроек, отвечающих за взаимодействие между Агентом ETL и Modus ETL. Теперь при проверке корректности пользовательских настроек нажатии на кнопку «Проверить доступность» происходит не только проверка доступности Агента ETL, но и проверка настроек Modus ETL. Так пользователи могут выявить некорректные настройки сразу, не дожидаясь возникновения ошибок в процессе получения данных.
Оптимизировано получение данных из источников «1С». Теперь данные передаются пачками фиксированного размера и сразу помещаются в хранилище. Это помогает обойти ограничения «1С»-источников по передаче больших файлов и снижает потребление ОЗУ в базе-источнике.
Доработан Агент ETL: теперь заполнение параметров «Адрес», «Логин», «Пароль» контролируется автоматически. Также добавлен вывод ошибок, выявленных при проверке, в лог работы.
В тестовой Альфа-версии добавлена возможность использования Агентом ETL модулей получения данных, написанных на языке Python. Теперь для загрузки данных, имеющих сложную и нестандартную структуру, можно будет подготовить специальный код на Python, встроить этот код в модуль получения данных в Modus ETL и настроить автоматическое получение данных.
Трансформация данных
Теперь при копировании и переносе сценариев обработки данных схема (верстка) отображения шагов будет воспроизводиться в модели WorkFlow.
В шаблон шага «Разделение строки» добавлена возможность использования «пробела» в качестве разделителя строк.
В шаблон шага «Произвольный код 1С» добавлена возможность в коде «1С» использовать «Параметры сценария».
В шаблоне шага «Перенос данных» механизм создания таблицы-приемника оптимизирован и адаптирован под современные версии ClickHouse.
Добавлена возможность при помощи изменения SQL-запроса выполнять тонкую настройку параметров создания временных таблиц хранилища.
Добавлена кнопка «Расширенные настройки» для управления выбранным объектом WorkFlow. Теперь пользователь может заходить в свойства шагов сценария и изменять типы связей между шагами, выбирая тип «Временная таблица» или «Вложенный запрос».
В сценариях обработки данных были добавлены новые шаблоны: «Очистка таблицы», «Обновление таблицы», «Обновление таблицы из таблицы-источника».
Доработан Агент ETL: теперь работа шаблонов шагов сценария в части Machine Learning не требует установки отдельного специального сервиса.
Управление хранилищем
Доработана форма создания и редактирования таблицы хранилища: реализовано интерактивное управление параметрами полей (столбцов) без необходимости «проваливаться» в форму настройки каждого поля. Это повышает удобство пользователя при работе и экономит время настройки таблицы на ~30%.
Доработана форма редактирования таблицы хранилища: добавлена возможность на основании таблицы хранилища создать и обновить простой набор данных на аналитическом портале Modus BI без необходимости создавать таблицу хранилища заново.
Доработана форма создания и редактирования таблицы хранилища: добавлен столбец «Алиас», с помощью которого можно для каждого поля таблицы указать псевдоним для описательной документации, а также использовать его при создании простых наборов данных для аналитического портала Modus BI.
Добавлена возможность экспорта описания и структуры таблиц хранилища в виде файлов с описательной документацией в форматы PDF, XLSX, DOCX, TXT и не только. Теперь пользователь может использовать их для подготовки отчётной документации по проектам, пояснительных записок, инструкций и так далее. Это сокращает трудозатраты на подготовку документации по используемым таблицам и наборам данных минимум в два раза.
Команда Modus также поработала над информационной безопасностью Modus ETL. Теперь пароль строки подключения к ETL при выводе информации в файл лога скрыт.
Прочие доработки
В очередной раз получен сертификат «1С:Совместимо» для Modus ETL. Выполнено обновление «1С:Библиотеки стандартных подсистем» до версии 3.1.9.
Доработан раздел «Основные настройки»: на вкладке «Прочее» в группу «Очистка журналов событий сбора данных» добавлены дополнительные опции управления (очистка журналов событий сбора данных, настройка расписания и события очистки).
Актуализирована служебная форма для тестирования взаимодействия между Modus ETL и Агентом ETL.
На главной странице Modus ETL добавлена возможность скачивать дистрибутивы Агента ETL и Адаптера ETL для «1С». Если раньше нужно было получать дистрибутивы на сайте «1С» или искать их в каталоге с шаблонами конфигураций «1С», то теперь этого делать не нужно.
Поделиться