Postgres Professional усилила платформу миграции ProGate 1.4.0 аналитической СУБД Postgres Pro AXE

Российский разработчик систем управления базами данных Postgres Professional объявляет о выходе Postgres ProGate 1.4.0 — очередного обновления платформы миграции и репликации данных. Ключевое новшество версии — поддержка аналитической СУБД для гибридных нагрузок Postgres Pro AXE с загрузкой в S3-совместимое хранилище, что открывает заказчикам новые сценарии для построения аналитических хранилищ. Также в релиз вошла функциональность по повышению производительности утилит, укреплению безопасности и переработке механизма интроспекции схем данных. Об этом CNews сообщили представители Postgres Professional.

Postgres ProGate предназначена для проектов миграции, разового переноса данных и непрерывной репликацей между СУБД. Продукт помогает автоматизировать ключевые этапы работы с данными: первичную загрузку, синхронизацию изменений в режиме, близком к реальному времени, и проверку корректности переноса.

Интеграция с аналитической СУБД Postgres Pro AXE

Главное новшество версии — поддержка аналитической СУБД AXE в качестве приемника данных с возможностью загрузки в S3-совместимое хранилище. Это расширяет сценарии использования платформы для построения современных аналитических хранилищ и data lake-решений на базе экосистемы Postgres Professional.

Переработанная интроспекция схем данных

Также одним из наиболее стала полная переработка механизма интроспекции. Реализована асинхронная обработка, что заметно ускоряет интроспекцию схем с большим количеством таблиц. Добавлена поддержка проверки привилегий доступа к схемам и таблицам, а также проверки совместимости подключений для prosync, включая права на чтение таблиц, — результаты доступны через API. Улучшено автоматическое сопоставление схем и таблиц для задач трансфера на основе совпадения имен.

Гибкое управление параллелизмом и ускорение загрузки

Утилита procopy получила более гибкий контроль над параллельной обработкой задач. Добавлен параметр sub_task_count, определяющий, на сколько подзадач может разбиваться исходная задача копирования, при этом расчет размера подзадач теперь выполняется автоматически, а параметр sub_task_rows переведен в статус deprecated. Появился флаг force_restart_task, позволяющий перезапускать задачи без очистки данных и без изменения идентификатора задачи — это удобно для регулярных переносов данных, например, снапшотов T-1.

Кроме того, в procopy и prosync добавлен параметр disable_constraint_checks, который отключает проверку ограничений и пользовательских триггеров на время записи батча в целевую PostgreSQL-совместимую БД, что ускоряет загрузку в сценариях, где целостность гарантируется на стороне источника или последующей верификацией.

Надежность и производительность prosync

CDC-репликация стала стабильнее и быстрее. Добавлена опция single_loader, которая позволяет для конкретной таблицы принудительно использовать один загрузчик, обеспечивая последовательную обработку изменений для таблиц, связанных внешними ключами. Исправлена ошибка считывания записей с большими значениями SCN из онлайн-журналов Oracle. Устранено удержание WAL-файлов на источниках PostgreSQL при редких изменениях за счет улучшения механизма продвижения слотов логической репликации. Повышена производительность применения изменений для Oracle.

Безопасность

Добавлена фиксация блокировки учетной записи пользователя при превышении лимита неудачных попыток ввода пароля. Все компоненты системы переведены на Go 1.26.5, а Apache Thrift обновлен до версии v0.23.0 с устранением ранее обнаруженных уязвимостей.

«Поддержка Postgres Pro AXE в качестве приемника данных – это новый вектор развития продукта. Если раньше ProGate использовался преимущественно для миграции и репликации между операционными базами данных, то теперь платформа закрывает и сценарий поставки данных в аналитику с загрузкой в S3-совместимые хранилища. Это существенно расширяет область применения продукта и открывает нашим заказчикам возможность строить аналитические конвейеры на единой технологической платформе. В сочетании с переработанной интроспекцией, которая в разы ускоряет работу со схемами из сотен и тысяч таблиц, новыми опциями управления параллелизмом в procopy и усилением безопасности мы сделали серьезный шаг в развитии платформы и дали нашим клиентам новые споособы решения своих бизнес-задач», – сказал руководитель продукта Postgres ProGate Евгений Кривов.