Выбирай : Покупай : Используй
0

Разработана уникальная файловая система с рекордной степенью сжатия данных

Разработчик Маркус Холланд-Мориц разработал файловую систему, способную создавать образы файлов и многократно сжимать их. Так, она может превратить 47 ГБ в 512 МБ. Проект получил название DwarFS, и над ним Холланд-Мориц работает с 2013 г.

Файловая система-архиватор

Разработчик Маркус Холланд-Мориц (Marcus Holland-Moritz), также известный под никнеймом mhx, создал новую файловую систему (ФС) DwarFS. Она предназначена для максимального уровня сжатия файлов и позволяет записывать гигантские объемы данных на носители с небольшой емкостью.

Над DwarFS автор трудится, по его словам, с 2013 г. Спустя семь лет с момента старта проекта он опубликовал одну из первых публичных его версий. Дистрибутив распространяется по лицензии GPLv3 и доступен для свободного скачивания с принадлежащего Microsoft портала GitHub.

Как работает DwarFS

Файловая система DwarFS, по словам автора, работает исключительно в режиме «только для чтения» (Read Only), что не позволяет изменять имеющиеся или добавлять новые файлы в созданные с ее помощью образы. Ее код написан на C++, и она подходит, к примеру, для использования во встраиваемых (embedded) устройствах. В такой (ФС) может храниться основная часть операционной системы подобных устройств, не подлежащая изменению и за счет алгоритмов самой DwarFS занимающая минимум дискового пространства.

Процесс создания образа

Еще один пример использования, пишет портал OpenNet – это создание LiveCD-образа операционной системы для последующей записи на оптический диск, поддерживающий однократную запись – CD-R или DVD-R. DwarFS позволит разместить на таком диске больше информации – программ, документации и др.

У DwarFS есть два основных преимущества. В дополнение к высокой степени сжатия, система также обеспечивает высокую скорость доступа к ним. Согласно документации, опубликованной Холландом-Морицем, в своей файловой системе он использует библиотеки Folly и Boost, алгоритмы сжатия файлов ZSTD и LZMA вместе с LZ4 и библиотеку frozen для хранения метаданных.

Несмотря на то, что значительная часть кода ФС была написана еще семь лет назад, она умеет использовать возможности современных ПК. В частности, при создании образов задействуются все имеющиеся ядра процессора для снижения затрачиваемого на весь процесс времени.

fs601.jpg
Автор DwarFS, Маркус Холланд-Мориц

В дополнение к этому DwarFS позволяет быстро менять алгоритм сжатия на уже готовом образе. К примеру, если он был создан при помощи LZMA, то система может переупаковать его с использованием LZ4 или ZSTD.

Для работы с DwarFS потребуются две штатные программы. Первая, получившая название Mkdwarfs, используется непосредственно для создания образа, тогда как за его монтирование отвечает утилита Dwarfs.

Сравнение с конкурентами

Творение Маркуса Холланда-Морица – не единственное, способное экстремально сжимать файлы при создании readonly-образа. Аналогичные действия выполняют файловые системы SquashFS, CramFS и CromFS (Compressed ROM file system), но DwarFS имеет ряд преимуществ перед ними.

Так, DwarFS и SquashFS, несмотря на то, что последняя существует еще с 2002 г., почти не отличаются по быстроте обращения к информации в образе, но вот само создание этого образа DwarFS осуществляет быстрее, показывая при этом еще более высокую степень сжатия. Например, итоговый размер образа для корневой файловой системы Raspberry Pi OS при использовании DwarFS был создан за 1 минуту 36 секунд и весил порядка 298 МБ, тогда как результат SquashFS – 364 МБ и 1 минута 54 секунды.

Еще один пример – «архивация» образа, в составе которого было почти 1140 установок языка Perl. DwarFS смогла сжать его с первоначальных 47 ГБ до 587 МБ, SquashFS – до 4,7 ГБ, притом последняя потратила на выполнение процесса почти в пять раз больше времени – около 70 минут против 15 минут у DwarFS.

Как выяснилось, это не пиковые результаты DwarFS – при смене алгоритма сжатия с ZSTD на LZMA объем образа уменьшился до 479 МБ, но при этом уменьшилась скорость доступа к нему. В сравнении с CromFS система Холланда-Морица тоже демонстрировала более высокие показатели стабильности работы и скорости подготовки архива.

Комментарии