Сплит-брейн в кластере: кто получит кворум? - Академия Selectel

Сплит-брейн в кластере: кто получит кворум?

Тирекс
Тирекс Самый зубастый автор
20 ноября 2026

Задача для тех, кто хочет разобраться, как кворум в Raft защищает кластер от split-brain при сетевой партиции.

Изображение записи

Условие

Ночью дежурный SRE-инженер Светлана получает алерт: в компании «Гелиос Клауд» отвалился один из линков между серверами кластера, который раздает распределенные блокировки для деплой-пайплайна. Светлане нужно понять, нарушена ли безопасность кластера или произошла обычная сетевая партиция.

Кластер состоит из трех серверов: node-1, node-2 и node-3. Он использует Raft. Кворум — 2 из 3 серверов; в одном терме каждый сервер может отдать не более одного голоса. До сбоя связи были устроены так:

  • node-1 соединен с node-2;
  • node-2 соединен с node-3;
  • прямого соединения между node-1 и node-3 нет.

До партиции node-1 был лидером. Затем связь между node-1 и node-2 оборвалась. После этого node-1 остается доступен только сам себе, а node-2 и node-3 продолжают обмениваться сообщениями. В момент сбоя журналы всех трех узлов синхронизированы. Клиент отправляет новую команду на node-1, а node-2 и node-3 начинают действовать после потери heartbeat от прежнего лидера

Задача

Помогите Светлане закрыть инцидент — ответьте на четыре вопроса, прежде чем она отправит постмортем команде.

  1. Может ли node-1 после партиции подтвердить новую команду как committed?
  2. Могут ли node-2 и node-3 выбрать нового лидера?
  3. Могут ли две стороны кластера одновременно зафиксировать разные команды каждая на своей стороне в одном и том же терме?
  4. Какая сторона кластера сохраняет возможность принимать решения, а какая теряет кворум?

Решение

После разрыва связи кластер разделяется на компоненты размеров 1 и 2. Для трех узлов большинство — два узла. Поэтому результат определяется не тем, сколько серверов продолжают работать, а тем, какая сторона сохраняет большинство. Отталкиваясь от этого: 

  1. Может ли node-1 подтвердить команду как committed? Нет. После партиции node-1 доступен только сам себе: у него один голос из трех, а для большинства нужны два. Он может принять клиентский запрос и записать команду в свой локальный журнал, но не может подтвердить ее как committed, потому что не получил подтверждение от большинства серверов. Клиент при ожидании подтверждения может получить таймаут; конкретное поведение зависит от реализации клиентского протокола.
  2. Могут ли node-2 и node-3 выбрать нового лидера? Да. Эти два узла по-прежнему связаны между собой и вместе образуют большинство (2 из 3). Поскольку в условии их журналы синхронизированы, проверка актуальности журнала при голосовании не блокирует выборы. Один из узлов может получить собственный голос + голос второго узла и стать лидером нового терма.
  3. Могут ли две стороны кластера одновременно зафиксировать разные команды каждая на своей стороне в одном и том же терме? Нет. Терм — это логический номер раунда Raft, а не физический момент времени. Для победы на выборах нужен кворум, а любые два множества по два узла в кластере из трех серверов обязательно пересекаются хотя бы в одном узле. Сервер не может отдать два голоса в одном терме, поэтому два разных кандидата не могут одновременно получить большинство в одном терме. Кроме того, изолированный node-1 не имеет большинства для commit. После партиции node-1 может некоторое время продолжать считать себя лидером, пока не узнает о более высоком терме. Когда он получит информацию о новом терме, он должен перейти в состояние follower. Поэтому временная видимость двух лидеров возможна, но безопасный Raft-кластер не допускает двух независимо закоммиченных веток в одном терме.
  4. Какая сторона сохраняет кворум? Кворум сохраняют node-2 и node-3. Node-1 остается в меньшинстве и не может принимать решения, требующие большинства, до восстановления связи с кворумом.

Проверим кворум с помощью Python

Полную реализацию Raft здесь строить не нужно: для проверки результата достаточно смоделировать топологию, удалить разорванный линк и определить связную компоненту, в которой находится кандидат. Если в компоненте есть не меньше двух узлов, она содержит кворум. Модель не реализует термы, RequestVote, AppendEntries и правила репликации журнала; это именно проверка топологии и размера кворума. Для проверки используем код ниже. 


      from collections import deque
from copy import deepcopy

QUORUM = 2

nodes = {
    "node-1": {"node-2"},
    "node-2": {"node-1", "node-3"},
    "node-3": {"node-2"},
}


def break_link(topology, a, b):
    """Возвращает копию топологии без связи a <-> b."""
    if a not in topology or b not in topology:
        raise ValueError("Неизвестный узел")
    if b not in topology[a] or a not in topology[b]:
        raise ValueError("Связь между узлами отсутствует")

    topology = deepcopy(topology)
    topology[a].remove(b)
    topology[b].remove(a)
    return topology


def component_size(node, topology):
    """Размер связной компоненты, в которой находится node."""
    if node not in topology:
        raise ValueError("Неизвестный узел")

    seen = {node}
    queue = deque([node])

    while queue:
        current = queue.popleft()
        for neighbor in topology[current]:
            if neighbor not in seen:
                seen.add(neighbor)
                queue.append(neighbor)

    return len(seen)


def has_quorum(node, topology):
    return component_size(node, topology) >= QUORUM


partitioned = break_link(nodes, "node-1", "node-2")

for node in partitioned:
    print(f"{node}: {has_quorum(node, partitioned)}")


После выполнения код выдает результат:


      node-1: False
node-2: True
node-3: True

Результат совпадает с предварительным разбором: node-1 находится в компоненте из одного узла и не имеет кворума, а node-2 и node-3 находятся в компоненте из двух узлов и сохраняют кворум.