Сервис для интеграции 2 000 селлеров с маркетплейсами: опыт XWAY
В кейсе рассказываем, как компания XWAY построила гибридную и отказоустойчивую инфраструктуру для сервиса интеграции более чем 2 000 продавцов с крупнейшими маркетплейсами.
Задачи:
- Добиться максимальной производительности и отказоустойчивости.
- Обеспечить быструю и надежную сетевую связность.
- Автоматизировать рутину в управлении инфраструктурой.
Продукты и услуги Selectel:
О компании
Компания XWAY разрабатывает платформу по управлению рекламой и интеграции с ведущими российскими маркетплейсами, такими как Wildberries, Ozon, Яндекс Маркет и Мегамаркет.
Услугами XWAY пользуются тысячи продавцов, и каждый продает свои товары сразу на нескольких маркетплейсах. Все они хотят иметь единое окно, чтобы:
- обновлять контент (фото, описания и т. д.) для одного товара на всех площадках одновременно,
- обновлять цены и остатки товаров на всех площадках,
- получать данные о заказах со всех площадок,
- получать сводную аналитику по продажам,
- управлять рекламными кампаниями в автоматическом режиме.
Чтобы не интегрироваться с каждым маркетплейсом по отдельности, XWAY предлагает единый кросс-платформенный API. Чтобы заниматься вопросами, связанными с контентом — PIM-систему (Product Information Management); для управления рекламой — сервис XWAY ADV с возможностью включить умное продвижение на базе искусственного интеллекта XWAY AI и системы аналитики.
Помимо пользовательских сервисов, под капотом находится десяток внутренних инструментов: система для сбора и хранения данных, инструменты автоматизации и другие элементы.
Вызовы и решения
На ранних этапах инфраструктура XWAY была распределена между различными хостинг-площадками, а управление осуществлялось внешними подрядчиками. Такой подход начал приводить к сложностям с консистентностью настроек, усложнял масштабирование и увеличивал зависимость от сторонних специалистов.
Осознав необходимость централизованного управления инфраструктурой, команда XWAY сформировала собственный штат IT-специалистов. Следующими этапами стали перенос ключевых компонентов сервиса на инфраструктуру одного провайдера и внедрение инструментов оркестрации. Это упростило управление вычислительными мощностями.
Добиться максимальной производительности и отказоустойчивости
Инфраструктура платформы XWAY ориентирована на высокий трафик, работу с большими объемами данных и высоконагруженными вычислениями, включая обработку изображений и AI.
Сервисы XWAY получают от селлеров более 1000 запросов каждую секунду. При этом платформа имеет переменную нагрузку. В периоды распродаж на маркетплейсах трафик на сервис кратно возрастает. В такие моменты требуется оперативное увеличение вычислительных мощностей для обеспечения стабильной работы платформы.
Платформа собирает и анализирует огромные массивы информации. Некоторые из них достигают более 1 000 000 000 записей. Бывают задачи, когда продавцу нужно загрузить отчет в виде объемного XML-файла, который система парсит и раскладывает по полям в базе данных. Пользователи ожидают мгновенную загрузку аналитики, поэтому критически важно быстро извлекать и обрабатывать данные.
Кроме того, платформа включает в себя ряд компонентов, требующих особой производительности. Например, в PIM-систему внедрена нейросеть, которая апскейлит изображения товаров, если те слишком малы и не соответствуют минимальным требованиям маркетплейса.
Эти и другие задачи диктуют высокие требования к производительности инфраструктуры. При этом отказоустойчивость также является одним из ключевых приоритетов, так как любая недоступность сервисов, даже на несколько минут, влечет финансовые потери.
Взяли лучшее от разных типов хостинга
По мере развития платформы команда XWAY наращивала количество вычислительных мощностей. Чтобы добиться максимальной производительности, она решила скомбинировать разные модели использования ресурсов.
Так, продакшн-часть сервисов развернута на базе облачной платформы Selectel, включая облачные серверы, управляемые кластеры Kubernetes и базы данных. Вспомогательные компоненты и тестовая среда развернуты на выделенных серверах и собственном оборудовании компании. Оно также размещено в дата-центрах Selectel.
Наиболее требовательные к отказоустойчивости компоненты, а именно кросс-маркетплейсный API и платформа управления рекламой, развернули в Managed Kubernetes. Сервис позволяет автоматически добавлять ресурсы при росте нагрузки и сворачивать их, когда нагрузка снижается. Мастер-ноды кластеров разместили в разных сегментах пула — это позволяет сделать инфраструктуру геораспределенной и отказоустойчивой. Также надежность кластеров гарантирует автовосстановление нод: если одна из нод не отвечает на проверки, то на ее место автоматически создается новая.
В облаке и на выделенных серверах развернули кластер PostgreSQL — это основная реляционная СУБД, используемая для хранения данных с высокой целостностью и поддержкой сложных транзакций.
На собственных серверах развернули аналитическую систему на базе ClickHouse — СУБД, оптимизированной для быстрой обработки больших объемов данных и генерации отчетов в режиме реального времени. Также на своем «железе» развернули тестовый кластер с гипервизором Proxmox.
Контроль за состоянием инфраструктуры — один из важнейших аспектов стабильной работы сервисов. Благодаря инструментам мониторинга, логирования и трассировки команда XWAY может оперативно выявлять узкие места и предотвращать возможные сбои, повышая общую отказоустойчивость систем.
Совмещая разные типы хостинга в рамках одной инфраструктуры, команда XWAY получила:
- производительность и гибкость в настройке ресурсов: ведь одни сервисы требовательны к количеству ядер CPU, другие — к объему RAM, третьи — к размеру и скорости сетевых дисков;
- масштабируемость: возможность быстро увеличить ресурсы в моменты высокой нагрузки и сократить их в периоды низкой;
- отказоустойчивость: компоненты инфраструктуры, где размещены продакшн-сервисы, имеют несколько уровней резервирования;
- оптимизацию затрат: сервисы с переменной нагрузкой развернуты в облаке с оплатой за потребление, а компоненты со стабильной нагрузкой живут на выделенных и собственных серверах.
Обеспечить быструю и надежную сетевую связность
Сетевые характеристики играют ключевую роль в обеспечении стабильной и производительной работы сервисов XWAY, особенно с учетом множества компонентов инфраструктуры, высокой нагрузки и работы с большими объемами данных.
Продакшн-часть инфраструктуры закрыли за серверами-балансировщиками, а для отдачи контента подключили CDN
Сетевые запросы от пользователей приходят на серверы-балансировщики, которые далее передают запросы по локальной сети. Такой подход позволяет закрыть доступ к инфраструктуре извне и защитить от инфраструктуру от DDoS-атак.
XWAY использует сетевые соединения с пропускной способностью 25 Гбит/с. Они обеспечивают быструю синхронизацию данных между узлами инфраструктуры и отказоустойчивость критических сервисов. Высокая скорость сети важна для:
- балансировки нагрузки между серверами;
- быстрой работы кросс-маркетплейсного API, который обрабатывает большие потоки запросов;
- репликации баз данных и распределенных файловых систем.
Для оптимизации скорости работы сервисов и ускорения загрузки используется связка объектного хранилища S3 и CDN. В объектном хранилище хранятся статичные и медиафайлы (например, изображения из PIM-системы и данные из CMS). Файлы попадают в S3, а оттуда через CDN отдаются конечным пользователям.
Автоматизировать рутину в управлении инфраструктурой
IT-команда XWAY стремится максимально автоматизировать ручную работу и процессы, чтобы сосредоточиться на стратегическом развитии инфраструктуры и внедрении новых технологий.
Внедрили инструменты Infrastructure as Code
При росте нагрузки команде важно оперативно разворачивать новые сервисы и обновлять существующие. Перейдя на решения Selectel, команда XWAY внедрила подходы Infrastructure as Code (IaC) и CI/CD. Это автоматизировало управление ресурсами и сократило время на настройку окружений. XWAY активно использует контейнеризацию и Kubernetes для управления микросервисами и распределенными системами. Сервис Managed Kubernetes помогает XWAY гибко управлять нагрузкой, балансировать ресурсы и ускорять развертывание новых компонентов.
Результаты
-
1 000
запросов в секунду обрабатывают сервисы XWAY.
-
99,98
процентов — уровень SLA управляемых кластеров Kubernetes, в которых развернут продакшн.
-
3
типа хостинга используется в Selectel: облачные и выделенные серверы, а также colocation — размещение собственного железа в дата-центрах Selectel.
Облачные серверы Selectel
Виртуальные машины в Москве, Санкт-Петербурге и Новосибирске с оплатой по потреблению и готовностью меньше минуты.
Managed Kubernetes
Отказоустойчивые и автомасштабируемые кластеры Kubernetes с гарантией доступности в облаке Selectel.
Выделенные серверы Selectel
Физический сервер с запуском от 2 минут и бесплатной заменой комплектующих. Все его ресурсы — только ваши.
«Мы начинали с достаточно разрозненной инфраструктуры. По мере развития сервисов и расширения команды специалистов стала очевидной необходимость выбора надежного IT-провайдера. Остановились на Selectel, потому что увидели здесь именно то, что нам нужно: возможность арендовать и облачные, и выделенные серверы, большой выбор услуг, из которых для нас особенно актуальны Managed Kubernetes и Managed Databases. Размещение сервисов на инфраструктуре Selectel обеспечивает нам высокий уровень отказоустойчивости, масштабируемости и безопасности, что критично для работы в сфере e-commerce и маркетплейс-интеграций».
