Виктор Седунов

Недавно рассказывал о выделенных ядрах — новой функциональности в облачных серверах, направленной на повышение производительности и стабильную работу вашей инфраструктуры. А сегодня хочу рассказать о новой линейке 10G Net, которую мы также совсем недавно запустили. Как можно догадаться из названия линейки, ее ключевая особенность — это ширина канала приватной сети в 10 Гбит/с, которая дополняет предложение современных высокочастотных процессоров и памяти. Такой сетап позволяет быстро обрабатывать данные и передавать их между облачными серверами. Быстрые облака На текущий момент облачная платформа Selectel первой предлагает линейку облачных серверов с возможностью передачи данных с такой скоростью в публичном доступе. Поиск по документации российских провайдеров облаков дает понимание, что клиенты могут рассчитывать на 1–3 Гбит/с, и в каких-то случаях, до 10 Гбит/с, но, скорее всего, в индивидуальном порядке. При этом объем данных, с которыми работают современные приложения или модели машинного обучения, растет по экспоненте. Сеть в этой связке все чаще становится «бутылочным горлышком». Представьте: вы арендуете топовые процессоры и быструю память, но они простаивают в ожидании данных, потому что стандартный канал в 1 Гбит/с просто не может справиться с нужным объемом вашей информации. В итоге вы платите за высокую производительность, которую не используете на 100%. Исследования IDC подтверждают: объем генерируемых данных в мире удваивается каждые два года. Эксперты отрасли все чаще говорят о феномене «гравитации данных» — чем больше объем накопленной информации, тем сложнее и дороже ее перемещать. Если пропускная способность сети не растет пропорционально объему хранилища, инфраструктура превращается в изолированные «острова», обмен данными между которыми становится непозволительно долгим. Мы видим это на практике в трех критичных сценариях: Репликация тяжелых БД. Когда восстановление из бэкапа или синхронизация нод на терабайтных объемах растягивается на часы вместо минут. Распределенные вычисления и ML. Когда обучение модели замедляется из-за задержек при передаче датасетов между узлами. Микросервисы с высоким трафиком. Когда внутренний межузловой обмен (east-west traffic) начинает съедать всю полосу пропускания, вызывая рост latency. Понимая, что гигабитный стандарт уже не закрывает потребности Highload-проектов, мы реализовали высокоскоростное решение, доступное всем. Решение — новая линейка 10G Net 10G Net — это синергия производительности, основанная на базе высокочастотного процессора Intel Xeon Gold 6354 с базовой частотой 3.0 ГГц и высокочастотной памяти с быстрым локальным NVMe-диском с сетью 10 Гбит/с в режиме full-duplex. vCPU линейки 10G Net работают на выделенных ядрах. Дополнительно можно настроить гиперпоточность и политику обязательного размещение на одной NUMA-ноде. Воспользоваться новой линейкой облачных серверов можно при создании нового сервера. Для этого, заходим в панель управления Selectel, открываем меню Продукты и переходим в раздел Облачные серверы. В разделе серверов кликаем на Создать сервер. На странице создания сервера выберите локацию: ru-3b, ru-7a или ru-7b. Актуальную информацию о доступности по локациям можно узнать в документации. Прокрутите страницу вниз до поля Конфигурация, выберите линейку 10G Net, подходящую конфигурацию и Создайте сервер. Кому будет полезно Подходят для высоконагруженных веб-приложений, сетевых сервисов и других задач, которые требуют высокую пропускную способность сети при передаче больших объемов данных. Особо критично использовать конфигурации с быстрой сетью при репликации баз данных, миграции — актуально при построении гибридной инфраструктуре, работе ML-пайплайнов, передаче видеоконтента и организации распределенных вычислительных кластеров. Тестирование Для проверки реальных возможностей новой линейки мы провели замеры пропускной способности с помощью iperf3. Тесты проводились в разных режимах, чтобы сымитировать реальные сценарии нагрузки на сеть: двунаправленную передачу данных, а также чистый входящий и исходящий трафик. Результаты тестов #bidirectional (четыре потока на направление) В этом режиме мы проверяли работу канала в режиме full-duplex, когда данные одновременно передаются и принимаются в четыре потока. iperf3 -P4 -c 192.168.0.238 --bidir -t 25 Вывод: Суммарная пропускная способность составила 11,4 Гбит/с. Это подтверждает, что сеть отлично справляется с параллельной нагрузкой в обе стороны. #egress Тест на максимальную скорость исходящего трафика (от сервера к клиенту) в восемь потоков. iperf3 -P8 -c 192.168.0.238 -t 25 Вывод: Получили стабильные 10,3 Гбит/с. Канал полностью утилизирует заявленную ширину в 10 Гбит/с. #ingress Проверка входящего трафика на сервер, также в восемь потоков. iperf3 -P8 -c 192.168.0.238 -R -t 25 Вывод: результат — 10,0 Гбит/с. Скорость на прием данных также соответствует топовым значениям линейки. Итого по цифрам Как видно из замеров, даже при двунаправленной нагрузке канал не захлебывается и выдает суммарно больше 11 Гбит/с. Для пользователя это означает, что даже если в соседнем потоке идет тяжелая репликация базы, это не положит передачу контента или работу API. В этом случае сеть работает предсказуемо, без просадок и «сюрпризов» в зависимости от того, куда именно летят пакеты. Заключение Раньше при проектировании высоконагруженных систем сеть часто оставалась тем фактором, который приходилось «закладывать в риски» или обходить сложными архитектурными решениями. Линейка 10G Net дополняет производительные решения облака Selectel и позволяет устранить, то самое «узкое горлышко» в ряде кейсов: репликация больших БД без задержек; (скорость передачи данных 1280 МБ/с, x3 от обычных 3 Гбит/с); быстрая загрузка и выгрузка датасетов для ETL и ML-пайплайнов; ускорение миграции сервисов в облако Selectel; синхронизация данных в гибридных решениях; быстрая передача данных в продуктах с большим объемом трафика между сервисами.

Виктор Седунов

Материалы автора

10 Гбит/с — зачем вам такая скорость передачи данных в облаке

Выделенные ядра — залог продуктивности вашей инфраструктуры

Как интерфейс PostHog поможет продактам и аналитикам в решении задач

Я знаю, что вы делали прошлым летом в нашем интерфейсе: аналитика в PostHog

Зачем UX-дизайнеру PostHog

Как мы создали паттерн проектирования