Разбираемся в сетях между дата-центрами

Почему важна связность между ЦОД

Сегодня IT-технологии играют ключевую роль в бизнесе, науке и государственных структурах. С ростом объемов данных и повышением требований к отказоустойчивости все большую значимость приобретает надежная связь между дата-центрами.

Как проектируют сеть между дата-центрами

Связь между ЦОД — это не просто «протянуть оптику». Это сложный и многогранный процесс, который требует учитывать топологию, требования к пропускной способности, уровень резервирования, масштабируемость и способы управления.

Топология

Для связи небольшого количества дата-центров — например, двух-трех, часто выбирают простую и надежную схему «точка-точка». Она проста, обеспечивает прямое соединение, минимальные задержки и простое управление. Однако при большом количестве узлов приходится переходить к более сложным топологиям  — кольцу, ячеистой структуре и т. д.

Волоконно-оптические сети часто используют кольцевую топологию, обладающую естественной способностью к «самовосстановлению». В таких сетях линейная часть обычно строится на паре волокон, что обеспечивает два возможных пути передачи данных между узлами.

• Основной маршрут — передача трафика по или против часовой стрелки.  
• Резервный маршрут — альтернативное направление, используемое для защиты и восстановления при повреждениях.  

Таким образом, в случае отказа основного пути трафик автоматически переключается на резервный, обеспечивая непрерывность связи.

Пропускная способность

Пропускная способность — это объем данных, который сеть способна передать за единицу времени. В современных условиях, когда количество подключенных устройств и объемы данных стремительно растут, важно тщательно анализировать потребности в трафике. Это позволит выбрать технологии и оборудование, способные обеспечить высокие скорости передачи — часто на периферии ЦОД требуются скорости вплоть до 100 Гбит/с и выше.

Отказоустойчивость

Отказоустойчивость сети гарантирует бесперебойную работу и доступность сервисов даже при сбоях отдельных компонентов — узлов, линков или оборудования. Для ее обеспечения закладывают резервирование на всех уровнях:

• дублируют каналы связи;
• строят резервные маршруты;
• используют протоколы с быстрым восстановлением — например, FRR, IS-IS или OSPF.

Технологии

Современные сети между ЦОД проектируют на основе разноуровневых технологий и протоколов, каждый из которых занимает свою нишу в общей архитектуре. Рассмотрим ключевые из них:

• DWDM (Dense Wavelength Division Multiplexing), 
• OTN (Optical Transport Network), 
• Fibre Channel,
• iSCSI (Internet Small Computer Systems Interface).

Dense Wavelength Division Multiplexing

DWDM — это технология плотного спектрального мультиплексирования. Она позволяет создавать оптические магистрали, работающие на мультигигабитных и терабитных скоростях. 

DWDM лежит в основе гибких высокоскоростных оптических сетей и обеспечивает прозрачную передачу любого типа трафика, в том числе чувствительного к задержкам. Технологию используют в передовых системах связи, где требуется обеспечение высокоскоростной передачи больших объемов информации с повышенной надежностью.

Такие решения критически важны при соединении дата-центров. 

DWDM обеспечивает:

• высокую пропускную способность;
• низкие задержки передачи;
• прозрачную доставку трафика любого типа, включая трафик, чувствительный к задержкам (например, SAN или потоки синхронизации).

Разберем ключевые компоненты системы DWDM.

• Транспондеры — модули, преобразующие электрический сигнал в оптический и обратно.
• Мукспондеры — агрегируют несколько потоков в один оптический канал.
• Оптические усилители — компенсируют потери сигнала на больших дистанциях.
• Демультиплексоры и мультиплексоры — разделяют или объединяют сигналы на разных длинах волн.

Подход к проектированию DWDM-сети

При проектировании DWDM-сегмента инженеры анализируют множество факторов. Например, необходимую пропускную способность, оптический бюджет, расстояние между ЦОД, места размещения усилителей, а также совместимость оборудования (особенно в случае мультивендорной среды). Далее на основе этого инженеры подбирают:

• число каналов (чаще всего 40–80, для обеспечения требуемой пропускной способности и количества данных);
• пропускную способность системы;
• типы и количество транспондеров или агрегаторов;
• усилители и компенсаторы дисперсии (если требуется).

Optical Transport Network (OTN)

DWDM сам по себе не является цифровой сетью — он лишь предоставляет оптические каналы в виде разных длин волн. Чтобы передавать по таким каналам цифровые данные, нужно каким-то образом договориться о методе модуляции или кодирования двоичных данных, а также предусмотреть важные механизмы: контроль корректности, исправление битовых ошибок, обеспечение отказоустойчивости, оповещение пользователя о состоянии соединения и т. д. Эти задачи решает технология Optical Transport Network (OTN).

OTN — это оптическая транспортная сеть с высокой пропускной способностью. Она позволяет передавать большие объемы цифровой информации — от интернет-трафика до потокового видео — на дальние расстояния с высокой скоростью и низкими задержками.

Почему OTN важна для ЦОД

Использование OTN между дата-центрами становится все более актуальным благодаря целому набору преимуществ. Рассмотрим ключевые. 

Высокая пропускная способность. OTN обеспечивает передачу большого объема данных на скоростях от 100 Гбит/с и выше — с возможностью дальнейшего масштабирования.

Мультисервисность. В одном канале могут одновременно передаваться трафики разных типов: голос, видео, данные.

Эффективное распределение ресурсов. OTN позволяет динамически распределять полосу пропускания. Это оптимизирует использование сетевых ресурсов и снижает эксплуатационные расходы.

Управляемость. OTN включает механизмы мониторинга, резервирования и коррекции ошибок — они повышают надежность сети.

Применение OTN позволяет удовлетворить растущие потребности в передаче данных, поддерживая современные облачные сервисы, распределенные вычисления и другие требовательные приложения.

Fibre Channel

Fibre Channel (FC) — это семейство протоколов высокоскоростной и высокопроизводительной передачи данных. Его разработали специально для сетей хранения информации (SAN). 

FC поддерживает как оптические, так и электрические интерфейсы. Технология обеспечивает:

• стабильную работу хранилищ,
• минимальные задержки при доступе к данным,
• высокую надежность за счет резервирования путей и встроенной коррекции ошибок,
• встроенные механизмы коррекции ошибок и резервирования путей.

Рассмотрим, где используют Fibre Channel. 

• Подключение серверов к дисковым массивам и ленточным библиотекам.
• Организация централизованного доступа к хранилищам (SAN).
• Сценарии, где критична предсказуемая производительность и минимальные задержки — например, для баз данных или виртуализации.

Скорость передачи — от 8 до 256 Гбит/с. Этого достаточно даже для высоконагруженных систем и приложений, которые требуют быструю обработку больших объемов данных.

iSCSI: доступный способ построить SAN

iSCSI (Internet Small Computer Systems Interface) — это протокол, который позволяет передавать команды SCSI через IP-сети. В отличие от Fibre Channel, iSCSI не требует специализированного оборудования: он работает поверх стандартной Ethernet-инфраструктуры.

Преимущества iSCSI для ЦОД 

Экономия. iSCSI работает поверх существующей Ethernet-инфраструктуры, что позволяет снизить затраты на оборудование и использовать стандартные коммутаторы, адаптеры, кабели и т. д.

Простота настройки и управления. iSCSI базируется на стандартных сетевых протоколах TCP/IP, поэтому его развертывание и администрирование не требуют глубоких специализированных знаний, что облегчает эксплуатацию SAN.

Гибкая архитектура. iSCSI позволяет строить более простые и доступные по стоимости SAN, исключая необходимость в выделенных кабелях и дорогостоящем оборудовании. Это значительно упрощает проектирование и внедрение систем хранения данных.

Сравнение Fibre Channel и iSCSI

При проектировании сети между ЦОД важно выбрать подходящую технологию передачи данных. Наиболее популярные варианты — Fibre Channel и iSCSI — существенно различаются по стоимости, производительности и сложности внедрения.

iSCSI проще в реализации и дешевле за счет использования стандартной Ethernet-инфраструктуры, однако в условиях высокой нагрузки может уступать Fibre Channel по надежности и задержкам. Fibre Channel, в свою очередь, требует специализированного оборудования, но обеспечивает предсказуемую производительность и низкий уровень ошибок.

Сравним ключевые характеристики протоколов iSCSI и Fibre Channel с помощью таблицы, подчеркивая их преимущества и особенности при использовании в ЦОД. 

Характеристика	iSCSI	Fibre Channel
Скорость передачи данных	1–400 Гбит/с (зависит от Ethernet)	1–256 Гбит/с (по FC-интерфейсу)
Тип сети	Cтандартные IP-сети (Ethernet)	Cпециализированные FC-сети
Стоимость внедрения	Низкая, использует стандартное сетевое оборудование	Высокая, требует специализированного оборудования
Надежность	Зависит от загруженности IP-сети, выше риск ошибок	Высокая, встроенные механизмы обнаружения и коррекции ошибок
Задержка	Выше из-за накладных расходов TCP/IP	Ниже, так как разработан специально для хранения данных
Дальность передачи	Зависит от инфраструктуры Ethernet (обычно до 100 м для медных кабелей)	Поддерживает расстояние до 10 км без усилителей (оптическое волокно)
Безопасность	Поддерживает базовую аутентификацию	Поддерживает функции безопасности — например, зонирование и SAN-политики
Управление	Через IP-интерфейс и ПО	Полностью аппаратное управление
Сценарии использования	Малый и средний бизнес	Крупные дата-центры и критически важные данные

Заключение

В статье мы разобрали ключевые технологии, применяемые при построении волоконно-оптических соединений между дата-центрами: DWDM, OTN, Fibre Channel и iSCSI. Каждая из них решает разные задачи — от физического уровня передачи до построения сетей хранения и управления трафиком.

При выборе конкретной технологии важно учитывать не только технические характеристики, но и масштаб инфраструктуры, допустимые задержки, уровень отказоустойчивости и бюджет проекта.