Повторение собственных ошибок
Американский поставщик ПО для обеспечения кибербезопасности Crowdstrike уже не в первый раз выпускает обновление своего продукта Falcon Sensor, приводящее к выходу из строя инфраструктуры клиентов, пишет TechSpot.
Напомним, что 19 июля 2024 г. произошел глобальный сбой информационных систем в самых разных отраслях –из-за него, в частности, некоторые крупные американские и европейские авиаперевозчики были вынуждены полностью или частично «приземлить» принадлежащие им воздушные флоты. Как оказалось, проблема скрывалась в обновленной версии приложения Falcon Sensor ИБ-компании Crowdstrike, которая вызывала «синий экран смерти» (BSoD) Microsoft Windows.
Инцидент Debian-машинами
Как рассказал пользователь портала Hacker News под псевдонимом JackC, серьезные происшествия, спровоцированные распространением заранее не протестированных апдейтов ПО Crowdstrike, случались и раньше. Более того, он лично оказался вовлечен в устранение последствий инцидента такого рода.
Пользователь не уточнил название организации, в которой он работает, лишь пояснив, что это техническая лаборатория, относящаяся к гражданскому сектору экономики и управляемая крупной компанией. Именно по инициативе руководства последней функцию по защите «разношерстной» инфраструктуры организации, работающей под управлением одного из наиболее популярных дистрибутивов Linux – Debian, было решено возложить на софт Crowdstrike.
19 апреля 2024 г. Crowdstrike выпустила обновление Falcon Sensor, которое оказалось несовместимым с актуальной версией Debian Linux стабильной ветки, используемой в организации JackC, поэтому ее специалистам пришлось «пропатчить» ОС, как они это делали в подобных ситуациях множество раз. Процедуры применения патча и обновления ПО CrowdStrike на первый взгляд прошли совершенно гладко и в работе системы каких-либо аномалий не наблюдалось. Однако спустя неделю совершенно неожиданно для администраторов весь парк Linux-машин организации одномоментно «упал», причем попытки заставить засбоившие компьютеры работать при помощи перезагрузки оказались тщетными.
Разбираясь в причинах сбоя, специалисты компании подключили один из системных дисков пострадавшей Linux-машины к другому компьютеру и изучили логи (журналы системных операций). Анализ логов показал, что предполагаемым виновником является ПО Crowdstrike. В результате было принято решение удалить его с одного из затронутых сбоем серверов, чтобы проверить данную гипотезу. Удаление действительно помогло – компьютер без проблемного софта сразу же успешно загрузился. Повторная установка софта Crowstrike в дальнейшем вновь приводила к отказу.
Взаимодействие со службой поддержки Crowdstrike
Лишь удостоверившись в том, что источником проблемы на самом деле является ПО Crowdstrike, специалисты компании обратились в службу поддержки ИБ-вендора через интернет. Ответ был получен спустя сутки – в нем предлагалось предоставить дополнительные доказательства того, что сбой в организации вызван некорректной работой Falcon Sensor по вине вендора. Как отмечает JackC, на следующий день служба поддержки признала факт наличия ошибки в продукте. По прошествии недели вендор сообщил о том, что работа очередной версии Falcon Sensor не была протестирована на совместимость с конфигурацией ПО, под управлением которого функционировала инфраструктура клиента.
По итогам разбирательства JackC с коллегами пришли к выводу о том, что предотвратить возникновение подобных инцидентов в будущем не представляется возможным из-за порочного подхода к доставке обновлений, выбранного Crowdstrike, который он описал следующей фразой: «Ставим софт на ваши машины когда хотим, вне зависимости от степени срочности, не тестируя его».
Примечательно, что, как и в случае с недавним глобальным сбоем, релиз «проблемного» апдейта продукта Crowdstrike состоялся накануне выходных – в пятницу 19 апреля 2024 г.
Ошибки совместимости с RHEL и производными
К рассказу JackC, не уточняющего свое место работы, можно и нужно относиться с определенной долей скепсиса – все-таки о деталях происшествия известно исключительно с его слов. Однако существуют и другие факты, указывающие на то, что обновление ПО CrowdStrike на Linux-машинах, выпущенное весной 2024 г., могло вызывать серьезные сбои.
Так, в базе знаний портала Red Hat упоминается возможность возникновения критической ошибки ОС (kernel panic) Red Hat Enterprise Linux (RHEL) версии 9.4 при загрузке ядра 5.14.0-427.13.1.el9_4.x86_64, вызванной процессом falcon-sensor. На аналогичные проблемы также жаловались пользователи Rocky Linux 9.4 (один из множества форков RHEL) на официальном форуме проекта в середине мая 2024 г.
Злоумышленники не дремлют
Агентство по кибербезопасности и защите инфраструктуры США (CISA) 19 июля 2024 г. призвало организации, пострадавшие в результате инцидента с ПО Crowdstrike, проявлять особую бдительность. По данным ведомства, на фоне возникшего хаоса активизировались киберпреступники, рассылающие от лица специалистов Crowdstrike фишинговые электронные письма, в которых предлагается «починить» вышедшие из строя системы за определенную сумму в криптовалюте.
Тем временем Crowdstrike выпустила исправление для Falcon Agent, а корпорация Microsoft 20 июля 2024 г. предложила бесплатный инструмент, который позволяет «починить» выведенные из строя в результате инцидента Windows-машины, загрузившись с USB-накопителя.
Поделиться
