Сетевая инфраструктура в Selectel

Про подключение к интернету в разных продуктах

Каждый внутренний сетевой узел мы резервируем N+1. В сети доступа в интернет резервируются коммутаторы, линки между коммутаторами, маршрутизаторы доступа в проектах, линки между ними и пограничные маршрутизаторы (бордеры).

В зависимости от того, это виртуальный хост в облаке или физический сервер, составляющие сети различаются.

1. Первый уровень сети — коммутаторы доступа

   Они организуют физический доступ и отвечают за подключение клиентского сервера в нашу сеть.

2. Второй уровень — коммутаторы агрегации

   Они нужны, чтобы все клиентские серверы в разных коммутаторах доступа общались друг с другом. Линки между первым и вторым уровнем зарезервированы

3. Третий уровень — коммутаторы суперагрегации

   Они работают по принципу, аналогичному коммутаторам агрегации. Коммутаторы суперагрегации позволяют обеспечивать постоянно растущую потребность в увеличении пропускной способности сети.

4. Четвертый уровень — маршрутизаторы доступа

   У каждого проекта в дата-центре их 2. Маршрутизаторы доступа (роутеры проекта выделенных серверов в каждой зоне доступности) своими даунлинками подключаются к коммутаторам суперагрегации, а аплинки подключаются в нашу магистраль и по ней организуют связь с пограничными маршрутизаторами (бордерами).

   В свою очередь, в бордеры подключаются внешние каналы от операторов связи — их больше 55.

Подробнее

1. Первый уровень — leaf-коммутаторы

   Они работают по принципу коммутаторов доступа в выделенных серверах. Эти коммутаторы устанавливаются в серверные стойки, где находятся физические хосты облака, и подключают их к сети. Каждый физический хост облака обязательно подключен минимум двумя сетевыми интерфейсами в разные leaf-коммутаторы.

2. Второй уровень сети — spine-коммутаторы

   Они объединяют между собой разные leaf-коммутаторы и позволяют физическим хостам облака, подключенным в разные leaf-коммутаторы, обмениваться трафиком. Все линки между leaf- и spine-коммутаторами зарезервированы. Наличие этих двух уровней сети означает, что каждый leaf-коммутатор включен минимум в два разных spine-коммутатора — минимум одним линком в каждый spine.

3. Третий уровень сети — super spine-коммутаторы

   Он появляется, если регион облака растет в размерах, тогда мы добавляем еще один уровень в clos-топологии. Эти коммутаторы объединяют между собой разные группы spine-коммутаторов, чтобы хосты в разных spine-зонах могли обмениваться трафиком друг с другом. Между spine и super spine, аналогично leaf-коммутаторам, все линки зарезервированы.

4. Четвертый уровень — маршрутизаторы доступа

   Или роутеры проекта облачных серверов в каждом регионе. Они подключаются своими даунлинками к super spine или spine-коммутаторам. Аплинки включены в нашу магистраль и по ней организуют связь с пограничными маршрутизаторами (бордерами).

   В свою очередь, в бордеры подключаются внешние каналы от операторов связи — их больше 55.

Подробнее

Про подключение к операторам связи

Про L2VPN

Эта сеть отвечает за передачу данных между соседними узлами в пределах одного сегмента сети или между устройствами в одной локальной сети. Данные передаются при помощи MAC-адресов устройств, которые соединены кабелями и линиями связи.

Приватные (локальные) сети не имеют доступа в интернет и используются для связи серверов между собой внутри дата-центра. Трафик в локальной сети не тарифицируется. В одном пуле все серверы объединены в простую L2-локальную сеть через коммутаторы Selectel.

L2 эффективен в обработке данных внутри локальной сети, но не обеспечивает маршрутизации данных между разными сетями.

Про L3VPN

Эта сеть используются для создания приватной сетевой связности на уровне L3 между клиентскими проектами в разных продуктах и дата-центрах.

Особенность этой сети — безопасность. Все сети клиентов изолированы друг от друга. Трафик одной клиентской сети недоступен для других клиентов. Сетевые нарушения у одного никак не влияют на доступность сервисов другого. Первые три уровня организации сети у интернета и L3VPN-сетей в проекте одинаковы. Все оборудование, которое участвует в организации сети, зарезервировано по схеме N+1.

Архитектурно наша L3VPN-сеть подключена к локальным сетям проектов через несколько десятков физических роутеров, на базе которых создается один распределенный клиентский виртуальный роутер.

Он связывает в единую изолированную сеть созданные в продуктах сегменты клиентских локальных сетей. На нем терминируются закрепленные за этими сегментами IP-подсети и осуществляется маршрутизация трафика.

Как работает L3VPN

Все можно соединить через L3VPN-сеть разные продукты в разных пулах, внутри регионов или между регионами.

Пропускная способность канала между регионами — бесплатно до 1 Гбит/с. За дополнительную плату мы можем увеличить ее до 10 Гбит/с. Внутри одного региона пропускная способность не ограничена.

Особенность приватной сети в том, что все клиенты изолированы друг от друга. Сетевые нарушения у одного никак не повлияют на доступность сервисов другого.

Как организовать соединение

Глобальный роутер маршрутизирует трафик между подключенными к нему приватными подсетями, обеспечивая сетевую связность на уровне L3.

Чтобы организовать сетевую связность, достаточно создать глобальный роутер в нашей панели управления.

Пример настройки сетевой связности с кластером Managed Kubernetes в нашей документации .

Как работает Direct Connect

Организует выделенное сетевое соединение инфраструктуры Selectel с локальной инфраструктурой клиента или с гипероблаками AWS, Microsoft Azure, Google, Alibaba.

Как организовать соединение

1. Через логический порт

   Подключение к инфраструктуре Selectel через канал оператора-партнера. Для этого сначала нужно арендовать канал у партнера, а потом подключить порт в Selectel.

2. Через физический порт

   Подключение инфраструктуры через внешнего оператора. Для этого нужно договориться с ним и арендовать порт на коммутаторе Selectel. Можно подключиться к Selectel без участия оператора, если инфраструктура находится там же, где наши коммутаторы.