В конце октября мы заметили исходящие DDoS-атаки от серверов нескольких десятков клиентов. Рассказываем, в чем была причина и как обезопасить себя от подобных проблем.
31 октября график мониторинга DDoS показал резкий рост сетевого трафика с разных аккаунтов, не связанных друг с другом. Атаки были исходящие, то есть их источник находился внутри серверов клиентов, в их программном окружении, к которому нет доступа ни у одного из специалистов Selectel.
На графике видны аномальные скачки сетевого трафика по количеству передаваемых пакетов.
В случае входящих DDoS-атак на инфраструктуру ответственность за решение проблемы берет на себя провайдер. При исходящих атаках задачи специалистов Selectel сводятся к быстрому информированию клиента о происходящем и защите остальных пользователей от возможных последствий DDoS.
При подозрительной активности серверов на них автоматически налагаются сетевые ограничения. Это своеобразный «иммунный ответ» системы, необходимый для защиты других клиентов, которые не превышают лимит сетевого трафика, и сетевой инфраструктуры компании. Уменьшение сетевого канала влияет на скорость доступа к сервисам, но, как только активность сервера приходит в норму, характеристики сети восстанавливаются.
Поиск проблемы
Обнаружив аномальный рост сетевого трафика, сотрудники техподдержки сразу сообщили об этом клиентам, на чьих серверах была зафиксирована подозрительная активность. А сотрудники дежурной службы облачной платформы параллельно пытались понять причину одновременных атак.
Основная сложность в том, что никто из сотрудников не знает, какое именно ПО установлено на атакованных серверах. Это усложняет поиск потенциальной проблемы, пока клиент сам не проведет мониторинг «внутренностей» инфраструктуры.
В данном случае была небольшая закономерность: несколько из серверов в публичных названиях содержали слово GitLab (в разных вариациях написания). GitLab — популярное решение для хранения кода и совместной разработки программных проектов. Сервисом пользуются большинство компаний, разрабатывающих собственные приложения, в том числе Selectel.
«Мы предположили, что входящей точкой для атак был именно GitLab. И клиенты, которые первыми ответили на письмо от техподдержки, подтвердили гипотезу», — рассказывает руководитель дежурной службы Александр Бондарев.
Что произошло
В конце октября — начале ноября участились случаи эксплуатации критической уязвимости GitLab — CVE-2021-22205. Она позволяла удаленно и без прохождения аутентификации выполнить код на сервере, на котором используется эта платформа. Уязвимость появилась в версии 11.9 и была устранена еще полгода назад в новых версиях программы, начиная с 13.10.3 (на момент написания текста актуальна версия 14.4). Информация об уязвимости была опубликована в интернете, и ею воспользовались хакеры.
Пожалуй, каждый когда-нибудь откладывал необходимое обновление прошивки на смартфоне или приложения на десктопе. В компаниях происходит то же самое. По данным проведенного сканирования публично доступных экземпляров GitLab (выборка — около 60 тысяч), половина систем использует устаревшие версии ПО с незакрытой уязвимостью.
Есть где разгуляться хакерам. Злоумышленники стали размещать на серверах вредоносное ПО и подключать их к ботнету, участвующему в DDoS-атаках. Жертвами обнародованной уязвимости и необновленного ПО стали и несколько десятков клиентов Selectel.
Что делать сейчас
Если вы пользуетесь старыми версиями GitLab, но злоумышленники до вас не добрались, рекомендуем обновиться прямо сейчас. Если не можете или не хотите этого делать, примените патч, который блокирует уязвимость. Также проанализируйте логи и проверьте, не появились ли у вас новые учетные записи с подозрительными названиями. Возможно, у вас гости.
Если рост сетевого трафика — нормальное явление для вашего сервиса (все-таки время распродаж), напишите в техподдержку Selectel. Опишите выполняемые задачи, чтобы мы добавили ваш аккаунта в список исключений и он не попал под автоматическое урезание сетевого канала.
Как обезопасить сервер от исходящих DDoS-атак
Несколько рекомендаций, которые не допустят подобной ситуации в будущем:
- Своевременно обновляйте версии программного обеспечения. Если вы не уверены в стабильности новой версии, подождите первой реакции комьюнити, но не затягивайте процесс на месяцы.
- Старайтесь мониторить информацию об уязвимостях. Поверьте, хакеры тоже это делают. Агрегаторов с такими данными достаточно много. Один из лучших — CVE. Также можно присмотреться к таким источникам, как Vulners и отечественный Банк данных угроз безопасности.
- Подключите Web Application Firewall (WAF), который защищает сайты, приложения, веб-ресурсы от взломов и таргетированных атак, эксплуатирующих уязвимости приложений. Selectel предоставляет решения от DDoS Guard и Qrator.
Подробнее о программных средствах защиты от DDoS-атак — в нашей базе знаний.
