Архитектура Arenadata Streaming
Arenadata Streaming (ADS) — платформа потоковой обработки данных на базе Apache Kafka и Apache NiFi для построения real-time архитектур: обработка событий, логов, транзакций и телеметрии. Платформа принимает потоки данных из внешних систем, надёжно хранит нужный срок и отдаёт потребителям.
Apache Kafka
Ядро системы. Гарантирует доставку сообщений и их отказоустойчивое хранение с репликацией. Высокая пропускная способность и низкая задержка обработки потоков.
Apache NiFi
Визуальный drag-and-drop инструмент с веб-интерфейсом для построения конвейеров данных (ETL/DataFlow). Содержит 300+ процессоров для интеграции приложений, СУБД (PostgreSQL, MongoDB), API, файловых систем и продуктов экосистемы Arenadata.
Отказоустойчивость
Распределенная архитектура потоковой платформы с горизонтальным масштабированием, репликацией данных и кворумом ZooKeeper/Kafka. Выход из строя одного узла не останавливает кластер.
Инфраструктурный фундамент Selectel для потоков данных
Гарантированная изоляция ресурсов в любом варианте развертывания
CPU Pinning (жесткая привязка vCPU к потокам физического ядра, корректное размещение на NUMA-нодах) в публичном облаке защищает от «шумных соседей», выделенные гипервизоры в приватном сегменте исключают конкуренцию за ресурсы на уровне железа.
Отказоустойчивость
Минимум 3 физических сервера (гипервизора) для кворума — отказ одного не влияет на доступность.
Хранение и сеть
Тройная репликация данных на SDS «Быстрый» и изолированная приватная сеть до 10 Гбит/с на ВМ.
Гарантированная производительность платформы
Наше решение — Guaranteed Performance Cloud. Сертифицированная вендором архитектура для развертывания кластеров Arenadata Streaming (Apache Kafka + NiFi) в облаке Selectel.
Ускорение Time-to-Market
Запуск кластера, готового к production-нагрузкам, за несколько дней по модели OPEX
Производительность bare-metal
Жесткая привязка vCPU к физическим потокам (CPU Pinning) исключает влияние других виртуальных машин — задержки стабильно низкие.
Замена западным вендорам
Бесшовная миграция с Confluent, TIBCO, Cloudera на российское ПО в реестре Минцифры. Без санкционных рисков.
Полный контроль над стеком
В отличие от PaaS, у вас есть доступ к ОС и ПО для установки собственных плагинов и кастомных доработок.
Результаты нагрузочного тестирования
0 ошибок публикации
Более 1 ГБ/с
Зх
Ключевые бизнес-сценарии и задачи
- Корпоративная шина обмена данными
- Критические real-time сервисы
- Сбор и обработка логов приложений
- Потоковая аналитика и мониторинг
Enterprise-стандарты «из коробки»
Использование оригинальной Kafka требует ручной настройки отказоустойчивости и безопасности. Arenadata Streaming от Selectel включает в себя все необходимое для промышленной эксплуатации:
ADCM
Оркестратор для развёртывания, расширения и бесшовных обновлений.
Единый дистрибутив
Совместимые версии Kafka, NiFi, Schema Registry, Cruise Control.
Kafka Connect + Debezium
Готовые коннекторы для CDC из PostgreSQL, Oracle, MongoDB и других баз.
ksqlDB
Потоковый механизм SQL для аналитики прямо в Kafka.
Kafka REST Proxy
Доступ к потокам данных по HTTP API.
Безопасность
Централизованное разграничение прав доступа (ACL/Ranger), аутентификация через Kerberos/Active Directory/LDAP и шифрование трафика (TLS).
Интеграция в экосистеме Arenadata
Продукты Arenadata работают вместе на инфраструктуре Selectel через нативные коннекторы, образуя единую платформу данных (EDP)
Arenadata Streaming
Собирает потоковые данные из внешних систем в реальном времени.
Arenadata QuickMarts
Забирает «горячие» данные для мгновенного построения BI-дашбордов.
Arenadata DB
Хранит весь исторический массив данных и отвечает за сложную аналитику.
Связь «из коробки»
Нативные коннекторы (например, ADB ClickHouse Connector, NiFi ADB Processor) и единый оркестратор ADCM обеспечивают надежный обмен данными без сложного кода.
Единое окно поддержки
Размещение enterprise-систем в облаке часто создаёт «серую зону» между провайдером и вендором. Мы ее убрали и сделали Selectel единой точкой входа.
Это значит, что мы:
- принимаем проблему
- координируем работу интегратора (развертывание, мониторинг, 1–2 линия) и Arenadata (лицензии, обновления, 3-я линия ядра)
- гарантируем решение с соблюдением SLA.
Ваша зона ответственности — только работа с данными (модели, ETL, витрины, BI), а не поддержка инфраструктуры.
FAQ
- С чего начать, если мы переходим с open-source Apache Kafka/NiFi или зарубежной шины данных (IBM MQ, TIBCO, Confluent)?
- Сколько времени занимает запуск ADS?
- Какая минимальная конфигурация кластера для старта?
- Можно ли начать с небольшого кластера и потом масштабировать?
- Как организованы техподдержка и SLA?
- Подходит ли решение для КИИ и закрытого контура?