Выпускник Факультета информационных технологий Новосибирского государственного университета Марк Бухнер улучшил работу программного обеспечения с открытым исходным кодом, которое используют крупные компании по всему миру для записи в распределенные базы данных терабайтного масштаба. Его изменения уже включены в официальные версии программы и позволяют ускорить запись информации в зависимости от режима работы примерно в два-четыре раза. Речь идет о системах, на которые в режиме реального времени стекаются показания тысяч датчиков с миллионов устройств – от автомобилей до «умной» бытовой техники. Об этом CNews сообщили представители НГУ.
По словам Бухнера, его магистерская работа была посвящена «исследованию и внедрению кроссплатформенных форматов представления данных для ускорения распределенной базы данных». Фактически он занимался модернизацией уже существующего программного обеспечения. Речь идет о платформе Apache Hudi, которая относится к роду систем lakehouse (озеро-хранилище; позволяет хранить, управлять и анализировать данные).
«Суть работы в том, чтобы быстрее сделать запись в очень большую базу данных, которая хранит не просто гигабайты данных, а терабайты данных», — сказал он.
Программой пользуются именно компании, а не отдельные пользователи: им нужны решения, которые выдерживают постоянный поток телеметрии и событий от большого числа устройств.
Например, современные автомобили, особенно электромобили и гибриды, оснащены многочисленными датчиками и постоянно отправляют на серверы производителя данные о состоянии систем и параметрах эксплуатации. Если таких машин миллионы, а в каждой – тысячи датчиков, компании приходится каждую секунду «приземлять» колоссальные объемы информации в базы данных, чтобы затем искать отклонения, закономерности, потенциальные неисправности и оптимизировать сервис.
«Я почти два года занимался тем, чтобы их ускорить и быстрее записывать эти данные», — сказал Марк.
По его оценке, в зависимости от конфигурации и режима работы ускорение составило от двух до четырех раз.
Похожие задачи стоят не только в автомобилестроении, но и в промышленности, логистике, энергетике, а также в сегменте «умной» бытовой техники. Все больше устройств подключаются к сети, а встроенные датчики непрерывно отправляют телеметрию производителю или сервисной компании. Чем быстрее и надежнее база данных принимает и обрабатывает этот поток, тем более оперативно бизнес может реагировать на проблемы, планировать обслуживание, улучшать продукты и повышать безопасность. Для крупных корпораций это уже вопрос не удобства, а конкурентоспособности: задержки при записи и анализе данных ограничивают возможности прогнозной аналитики и развития сервисов на базе искусственного интеллекта.
Особенность доработанного Бухнером ПО в том, что он распространяется с открытым исходным кодом и не принадлежит какой?то одной корпорации. Любая компания может внедрить ее в свою инфраструктуру. Изменения, предложенные выпускником НГУ, прошли рассмотрение у разработчиков и были официально приняты.
«Комитет сказал: «Да, это хорошее изменение, хорошее улучшение. Производительность действительно улучшается», — отметил он.
Теперь улучшенный код уже вошел в определенные версии ПО, и те компании, которые обновляются, автоматически получают выигрыш в скорости работы с данными.
Сейчас этим программным обеспечением, по словам Бухнера, активно пользуются зарубежные компании на азиатском рынке. О том, применяют ли его российские фирмы, данных у разработчика нет:
«Я так понимаю, что нет, такой задачи у них пока еще не стоит. Но в будущем, наверное, обязательно встанет», – сказал он.
Сам Марк считает свою часть работы завершенной: сначала он занимался ускорением чтения данных, затем — ускорением записи.
«Я ускорил все, что уже возможно в этих программах, как мне кажется, и надо уже заниматься чем-то другим», — сказал он.
Поделиться
