Условие
Ночью дежурный SRE-инженер Светлана получает алерт: в компании «N» отвалился один из линков между серверами кластера, который раздает распределенные блокировки для деплой-пайплайна. Светлане нужно понять, нарушена ли безопасность кластера или произошла обычная сетевая партиция.
Кластер состоит из трех серверов: node-1, node-2 и node-3. Он использует Raft. Кворум — 2 из 3 серверов; в одном терме каждый сервер может отдать не более одного голоса. До сбоя связи были устроены так:
- node-1 соединен с node-2;
- node-2 соединен с node-3;
- прямого соединения между node-1 и node-3 нет.
До партиции node-1 был лидером. Затем связь между node-1 и node-2 оборвалась. После этого node-1 остается доступен только сам себе, а node-2 и node-3 продолжают обмениваться сообщениями. В момент сбоя журналы всех трех узлов синхронизированы. Клиент отправляет новую команду на node-1, а node-2 и node-3 начинают действовать после потери heartbeat от прежнего лидера
Задача
Помогите Светлане закрыть инцидент — ответьте на четыре вопроса, прежде чем она отправит постмортем команде.
- Может ли node-1 после партиции подтвердить новую команду как committed?
- Могут ли node-2 и node-3 выбрать нового лидера?
- Могут ли две стороны кластера одновременно зафиксировать разные команды каждая на своей стороне в одном и том же терме?
- Какая сторона кластера сохраняет возможность принимать решения, а какая теряет кворум?
Решение
После разрыва связи кластер разделяется на компоненты размеров 1 и 2. Для трех узлов большинство — два узла. Поэтому результат определяется не тем, сколько серверов продолжают работать, а тем, какая сторона сохраняет большинство. Отталкиваясь от этого:
- Может ли node-1 подтвердить команду как committed? Нет. После партиции node-1 доступен только сам себе: у него один голос из трех, а для большинства нужны два. Он может принять клиентский запрос и записать команду в свой локальный журнал, но не может подтвердить ее как committed, потому что не получил подтверждение от большинства серверов. Клиент при ожидании подтверждения может получить таймаут; конкретное поведение зависит от реализации клиентского протокола.
- Могут ли node-2 и node-3 выбрать нового лидера? Да. Эти два узла по-прежнему связаны между собой и вместе образуют большинство (2 из 3). Поскольку в условии их журналы синхронизированы, проверка актуальности журнала при голосовании не блокирует выборы. Один из узлов может получить собственный голос + голос второго узла и стать лидером нового терма.
- Могут ли две стороны кластера одновременно зафиксировать разные команды каждая на своей стороне в одном и том же терме? Нет. Терм — это логический номер раунда Raft, а не физический момент времени. Для победы на выборах нужен кворум, а любые два множества по два узла в кластере из трех серверов обязательно пересекаются хотя бы в одном узле. Сервер не может отдать два голоса в одном терме, поэтому два разных кандидата не могут одновременно получить большинство в одном терме. Кроме того, изолированный node-1 не имеет большинства для commit. После партиции node-1 может некоторое время продолжать считать себя лидером, пока не узнает о более высоком терме. Когда он получит информацию о новом терме, он должен перейти в состояние follower. Поэтому временная видимость двух лидеров возможна, но безопасный Raft-кластер не допускает двух независимо закоммиченных веток в одном терме.
- Какая сторона сохраняет кворум? Кворум сохраняют node-2 и node-3. Node-1 остается в меньшинстве и не может принимать решения, требующие большинства, до восстановления связи с кворумом.
Проверим кворум с помощью Python
Полную реализацию Raft здесь строить не нужно: для проверки результата достаточно смоделировать топологию, удалить разорванный линк и определить связную компоненту, в которой находится кандидат. Если в компоненте есть не меньше двух узлов, она содержит кворум. Модель не реализует термы, RequestVote, AppendEntries и правила репликации журнала; это именно проверка топологии и размера кворума. Для проверки используем код ниже.
from collections import dequefrom copy import deepcopy
QUORUM = 2
nodes = { "node-1": {"node-2"}, "node-2": {"node-1", "node-3"}, "node-3": {"node-2"},}
def break_link(topology, a, b): """Возвращает копию топологии без связи a <-> b.""" if a not in topology or b not in topology: raise ValueError("Неизвестный узел") if b not in topology[a] or a not in topology[b]: raise ValueError("Связь между узлами отсутствует")
topology = deepcopy(topology) topology[a].remove(b) topology[b].remove(a) return topology
def component_size(node, topology): """Размер связной компоненты, в которой находится node.""" if node not in topology: raise ValueError("Неизвестный узел")
seen = {node} queue = deque([node])
while queue: current = queue.popleft() for neighbor in topology[current]: if neighbor not in seen: seen.add(neighbor) queue.append(neighbor)
return len(seen)
def has_quorum(node, topology): return component_size(node, topology) >= QUORUM
partitioned = break_link(nodes, "node-1", "node-2")
for node in partitioned: print(f"{node}: {has_quorum(node, partitioned)}")
После выполнения код выдает результат:
node-1: Falsenode-2: Truenode-3: True
Результат совпадает с предварительным разбором: node-1 находится в компоненте из одного узла и не имеет кворума, а node-2 и node-3 находятся в компоненте из двух узлов и сохраняют кворум.