Задача о сплит-брейне в кластере: кто получит кворум - Академия Selectel

Задача о сплит-брейне в кластере: кто получит кворум

Тирекс
Тирекс Самый зубастый автор
18 ноября 2026

Задача для тех, кто хочет разобраться, как кворум в Raft защищает кластер от split-brain при сетевой партиции.

Изображение записи

Условие

Ночью дежурный SRE-инженер Светлана получает алерт: в компании «N» отвалился один из линков между серверами кластера, который раздает распределенные блокировки для деплой-пайплайна. Светлане нужно понять, нарушена ли безопасность кластера или произошла обычная сетевая партиция.

Кластер состоит из трех серверов: node-1, node-2 и node-3. Он использует Raft. Кворум — 2 из 3 серверов; в одном терме каждый сервер может отдать не более одного голоса. До сбоя связи были устроены так:

  • node-1 соединен с node-2;
  • node-2 соединен с node-3;
  • прямого соединения между node-1 и node-3 нет.

До партиции node-1 был лидером. Затем связь между node-1 и node-2 оборвалась. После этого node-1 остается доступен только сам себе, а node-2 и node-3 продолжают обмениваться сообщениями. В момент сбоя журналы всех трех узлов синхронизированы. Клиент отправляет новую команду на node-1, а node-2 и node-3 начинают действовать после потери heartbeat от прежнего лидера

Задача

Помогите Светлане закрыть инцидент — ответьте на четыре вопроса, прежде чем она отправит постмортем команде.

  1. Может ли node-1 после партиции подтвердить новую команду как committed?
  2. Могут ли node-2 и node-3 выбрать нового лидера?
  3. Могут ли две стороны кластера одновременно зафиксировать разные команды каждая на своей стороне в одном и том же терме?
  4. Какая сторона кластера сохраняет возможность принимать решения, а какая теряет кворум?

Решение

После разрыва связи кластер разделяется на компоненты размеров 1 и 2. Для трех узлов большинство — два узла. Поэтому результат определяется не тем, сколько серверов продолжают работать, а тем, какая сторона сохраняет большинство. Отталкиваясь от этого: 

  1. Может ли node-1 подтвердить команду как committed? Нет. После партиции node-1 доступен только сам себе: у него один голос из трех, а для большинства нужны два. Он может принять клиентский запрос и записать команду в свой локальный журнал, но не может подтвердить ее как committed, потому что не получил подтверждение от большинства серверов. Клиент при ожидании подтверждения может получить таймаут; конкретное поведение зависит от реализации клиентского протокола.
  2. Могут ли node-2 и node-3 выбрать нового лидера? Да. Эти два узла по-прежнему связаны между собой и вместе образуют большинство (2 из 3). Поскольку в условии их журналы синхронизированы, проверка актуальности журнала при голосовании не блокирует выборы. Один из узлов может получить собственный голос + голос второго узла и стать лидером нового терма.
  3. Могут ли две стороны кластера одновременно зафиксировать разные команды каждая на своей стороне в одном и том же терме? Нет. Терм — это логический номер раунда Raft, а не физический момент времени. Для победы на выборах нужен кворум, а любые два множества по два узла в кластере из трех серверов обязательно пересекаются хотя бы в одном узле. Сервер не может отдать два голоса в одном терме, поэтому два разных кандидата не могут одновременно получить большинство в одном терме. Кроме того, изолированный node-1 не имеет большинства для commit. После партиции node-1 может некоторое время продолжать считать себя лидером, пока не узнает о более высоком терме. Когда он получит информацию о новом терме, он должен перейти в состояние follower. Поэтому временная видимость двух лидеров возможна, но безопасный Raft-кластер не допускает двух независимо закоммиченных веток в одном терме.
  4. Какая сторона сохраняет кворум? Кворум сохраняют node-2 и node-3. Node-1 остается в меньшинстве и не может принимать решения, требующие большинства, до восстановления связи с кворумом.

Проверим кворум с помощью Python

Полную реализацию Raft здесь строить не нужно: для проверки результата достаточно смоделировать топологию, удалить разорванный линк и определить связную компоненту, в которой находится кандидат. Если в компоненте есть не меньше двух узлов, она содержит кворум. Модель не реализует термы, RequestVote, AppendEntries и правила репликации журнала; это именно проверка топологии и размера кворума. Для проверки используем код ниже.


      from collections import dequefrom copy import deepcopy
QUORUM = 2
nodes = {    "node-1": {"node-2"},    "node-2": {"node-1", "node-3"},    "node-3": {"node-2"},}

def break_link(topology, a, b):    """Возвращает копию топологии без связи a <-> b."""    if a not in topology or b not in topology:        raise ValueError("Неизвестный узел")    if b not in topology[a] or a not in topology[b]:        raise ValueError("Связь между узлами отсутствует")
    topology = deepcopy(topology)    topology[a].remove(b)    topology[b].remove(a)    return topology

def component_size(node, topology):    """Размер связной компоненты, в которой находится node."""    if node not in topology:        raise ValueError("Неизвестный узел")
    seen = {node}    queue = deque([node])
    while queue:        current = queue.popleft()        for neighbor in topology[current]:            if neighbor not in seen:                seen.add(neighbor)                queue.append(neighbor)
    return len(seen)

def has_quorum(node, topology):    return component_size(node, topology) >= QUORUM

partitioned = break_link(nodes, "node-1", "node-2")
for node in partitioned:    print(f"{node}: {has_quorum(node, partitioned)}")

После выполнения код выдает результат:


      node-1: Falsenode-2: Truenode-3: True

Результат совпадает с предварительным разбором: node-1 находится в компоненте из одного узла и не имеет кворума, а node-2 и node-3 находятся в компоненте из двух узлов и сохраняют кворум.