15 октября была опубликована информация об уязвимости CVE-2026-99999 в ядре Linux. Уязвимость была оценена в 9,3 баллов из 10 и затрагивала все существующие операционные системы, работающие на уязвимом ядре: позволяла изолированной гостевой виртуальной машине (ВМ) выйти за свои пределы. Мы незамедлительно приступили к устранению уязвимости, сейчас все хосты переведены на исправную версию ядра. Признаков эксплуатации уязвимости и компрометации клиентских сред не выявлено. В этом тексте рассказываем, как был организован процесс обновления облачной платформы.
План восстановления и технические обстоятельства
Работы по устранению уязвимости начались с балансировки ВМ между хостами с помощью живой миграции. Этот механизм — стандартный инструмент платформы, но масштаб инфраструктуры делал его слишком медленным, а патчинг ядра без перезагрузки (livepatch) тогда находился еще на стадии разработки. По этой причине первый массовый этап прошел в формате плановых перезагрузок, о которых мы заранее уведомили клиентов.
Во время плановых перезагрузок хостов мы столкнулись со сложностями при автоматическом восстановлении части балансировщиков нагрузки. Нам потребовалось остановить дальнейшие перезагрузки и восстановить сервисы вручную. После этого мы пересмотрели подход к обновлению и использовали три способа устранения уязвимости в зависимости от конфигурации и технических возможностей хостов.
- Патчинг ядра без перезагрузки. Параллельно с основными работами мы разработали собственный механизм livepatch и раньше запланированного срока внедрили его на всех хостах, где это было технически возможно. Это позволило устранить уязвимость без перезагрузки серверов и влияния на доступность ВМ.
- Живая миграция с последующей перезагрузкой. На хостах, где livepatch применить было нельзя, мы переносили ВМ на уже обновленные серверы с помощью живой миграции. После освобождения хоста мы перезагружали его и устанавливали исправленное ядро.
- Плановая перезагрузка под нагрузкой. На отдельных хостах, например с GPU, применить livepatch или выполнить живую миграцию было невозможно. Такие серверы пришлось перезагружать вместе с работающими на них ВМ после предварительного уведомления клиентов.
Итоги
Мы продолжили обновление инфраструктуры, сочетая три способа в зависимости от технических ограничений каждого хоста. Финальный этап работ прошел без влияния на доступность ВМ, а патчинг ядра без перезагрузки теперь закреплен как стандарт обновления хостов, где это возможно. Кроме того, улучшена живая миграция: зарезервирована дополнительная емкость, чтобы при автоматическом восстановлении у системы всегда был запас необходимых ресурсов. А в предрелизные тесты добавлены сценарии массового перезапуска балансировщиков нагрузки, облачных баз данных и кластеров Kubernetes.
Благодарим за понимание — мы делаем все, чтобы ваша инфраструктура оставалась в безопасности.