Архитектура Arenadata QuickMarts
Arenadata QuickMarts (ADQM) — кластерная колоночная OLAP-СУБД на базе enterprise-версии ClickHouse для сверхбыстрой бизнес-аналитики в режиме реального времени. Ядро системы сканирует миллиарды строк в секунду, обеспечивая мгновенный отклик на аналитические запросы пользователей.
ADQM выступает как высокоскоростной слой доступа к данным, разгружая основное хранилище и позволяя строить интерактивные дашборды без деградации производительности.
Продукт включен в реестр российского ПО.
ADQM DB
Колоночно-ориентированная СУБД на базе ClickHouse и ядро всей системы. Обеспечивает сканирование миллиардов строк в секунду. Оптимизирована для аналитических запросов на больших объемах данных. Полностью поддерживает SQL, включая оконные функции и сложные подзапросы.
ZooKeeper / ClickHouse Keeper
Служебные компоненты для координации узлов и управления репликацией. Обеспечивают отказоустойчивость и консистентность данных в кластере.
Chproxy
Высокопроизводительный HTTP-прокси и балансировщик нагрузки. Распределяет запросы пользователей между узлами, маршрутизируя с учетом состояния нод.
Инфраструктурный фундамент Selectel
Гарантированная изоляция ресурсов в любом варианте развертывания
CPU Pinning (жесткая привязка vCPU к потокам физического ядра, корректное размещение на NUMA-нодах) в публичном облаке защищает от «шумных соседей», выделенные гипервизоры в приватном сегменте исключают конкуренцию за ресурсы на уровне железа. Все конфигурации оптимизированы под аналитические нагрузки.
Дисковая подсистема
Сетевое хранилище SDS «Быстрый» с пропускной способностью на ВМ до 2503 MB/s. Высокая скорость чтения для колоночных сканирований.
Отказоустойчивость
Минимум 3 физических сервера (гипервизора) для обеспечения координации и репликации данных. Отказ одного узла не приводит к остановке кластера.
Гарантированная производительность для интерактивной аналитики
Наше решение — горячие витрины как сервис. Сертифицированная вендором архитектура для развертывания кластеров Arenadata QuickMarts (enterprise-версия ClickHouse) в облаке Selectel.
Интерактивная скорость отчетов
Основное DWH больше не перегружено ad-hoc запросами. BI-дашборды строятся за секунды — сотни одновременных SQL-запросов обрабатываются без деградации.
Снятие нагрузки с корпоративного хранилища
Тяжелые ETL-операции и историческая аналитика остаются в Arenadata DB или другой OLAP СУБД, «горячие» витрины выносятся в QuickMarts. Каждый слой работает со своей нагрузкой без конфликтов за ресурсы.
Эффективная замена западным решениям
Российское ПО в реестре Минцифры. Альтернатива SAP BW/4 HANA и Oracle Exadata для задач быстрой отчетности без санкционных рисков, импортозамещение с гарантированной производительностью.
Экономика OPEX без закупки дорогого железа
Запуск производственного кластера за несколько дней. Вы платите за используемые ресурсы, а не за избыточные аппаратные мощности.
Результаты нагрузочного тестирования
6 успешных стресс-тестов
прошло решение Arenadata QuickMarts на инфраструктуре Selectel.
0,49%
отклонение среднего времени выполнения запросов.
в 2 раза
меньше физических ядер без потери производительности.
Ключевые бизнес-сценарии
- Создание «горячих» витрин для BI
Разгрузка корпоративного хранилища (DWH): ADQM выдерживает сотни одновременных SQL-запросов от BI-систем.
- Аналитика в реальном времени
Мгновенный сбор и анализ потоковых данных из Kafka, логов, метрик и событий IoT; результаты появляются в дашбордах сразу после поступления.
- Двухслойная архитектура DWH
Arenadata DB хранит исторический массив и выполняет тяжёлые ETL-операции, а ADQM служит быстрым слоем доступа (Data Marts).
- Self-service BI и ad-hoc-анализ
Интерактивные дашборды для бизнес-подразделений (маркетинг, продажи, финансы) без нагрузки на IT-инфраструктуру.
- Регуляторная и управленческая отчетность
Быстрое агрегирование данных для формирования отчетов.
- Поведенческая аналитика и кликстрим
Анализ воронок конверсии, когорт и A/B-тестов на основе логов веб- и мобильных приложений.
- IoT и телеметрия промышленного оборудования
Сбор временных рядов, показаний датчиков и сообщений оборудования для предиктивного обслуживания.
- Финансовый риск-менеджмент
Витрины для антифрода и скоринга на транзакционных данных.
- Импортозамещение
Замена зарубежных аналитических СУБД (Oracle Exadata, Teradata, Vertica, SAP BW/4HANA) на отечественное решение.
- ML и Feature Store
Подготовка датасетов и витрин данных для машинного обучения.
Enterprise-стандарты «из коробки»
Самостоятельное развертывание open-source ClickHouse требует ручной настройки отказоустойчивости, безопасности и коннекторов. ADQM от Selectel включает в себя все необходимое для промышленной эксплуатации:
Arenadata Cluster Manager (ADCM)
Оркестратор для автоматизированного развертывания, масштабирования кластера и обновлений без остановки сервиса.
ADQM Control
Инструмент мониторинга SQL-запросов и управления кластером в реальном времени. Готовые дашборды Grafana для визуализации метрик.
Оптимизированные коннекторы данных
ADB ClickHouse Connector и ADQM Spark 3 Connector для бесшовной интеграции в корпоративный ландшафт.
Автоматическая выгрузка данных
Передача данных из основного хранилища в витрины без написания кастомного кода.
Подключение внешних источников
PostgreSQL, MySQL, Kafka, S3-совместимое хранилище Selectel.
Безопасность
Интеграция с Chproxy для контроля доступа, поддержка отечественных ОС (Astra Linux, РЕД ОС) и сертификат ФСТЭК на версию ADQM.
Интеграция в экосистеме Arenadata для обмена данными
Продукты Arenadata работают вместе на инфраструктуре Selectel через нативные коннекторы, образуя единую платформу данных (EDP)
Arenadata Streaming
Собирает потоковые данные из внешних систем в реальном времени.
Arenadata QuickMarts
Забирает «горячие» данные для мгновенного построения BI-дашбордов.
Arenadata DB
Хранит весь исторический массив данных и отвечает за сложную аналитику.
Связь «из коробки»
Нативные коннекторы (ADB ClickHouse Connector, NiFi ADB Processor) и единый оркестратор ADCM обеспечивают надежный обмен данными между системами без сложного кода.
Единое окно поддержки
Размещение enterprise-систем в облаке часто создает «серую зону» между провайдером и вендором. Мы ее убрали и сделали Selectel единой точкой входа.
Это значит, что мы:
- принимаем проблему
- координируем работу интегратора (развертывание, мониторинг, 1–2 линия) и Arenadata (лицензии, обновления, 3-я линия ядра)
- гарантируем решение с соблюдением SLA.
Ваша зона ответственности — только работа с данными (модели, ETL, витрины, BI), а не поддержка инфраструктуры.
Запуск
- С чего начать, если мы переходим с ClickHouse OSS или зарубежной аналитической СУБД (Vertica, Exadata, SAP BW/4HANA)?
Мы проводим аудит текущей архитектуры и предлагаем план миграции с сохранением совместимости SQL-запросов.
- Сколько времени занимает запуск ADQM?
Развертывание production-кластера занимает несколько дней после подготовки инфраструктуры.
- Какая минимальная конфигурация кластера для старта?
Минимум 3 физических сервера (гипервизора) для обеспечения координации и репликации данных.
- Можно ли начать с небольшого кластера, а потом масштабировать?
Да, архитектура ADQM позволяет наращивать мощности без остановки сервиса.
Технические и архитектурные вопросы
- Чем ADQM отличается от обычного ClickHouse?
Enterprise-версия включает оркестратор ADCM, коннекторы, систему мониторинга ADQM Control, интеграцию с LDAP/Kerberos и коммерческую поддержку вендора.
- Сохраняется ли полная совместимость с ClickHouse по SQL и драйверам?
Да, полная совместимость с протоколом ClickHouse, включая JDBC/ODBC.
- Какие BI-инструменты совместимы?
Yandex DataLens, Apache Superset, Visiology, Power BI и другие.
- Какие коннекторы доступны?
ADB ClickHouse Connector, ADQM Spark 3 Connector, NiFi ADB Processor, Kafka/ADS, S3-совместимое хранилище Selectel.
Безопасность и соответствие требованиям
- Поддерживаются ли отечественные ОС?
Да, Astra Linux и РЕД ОС.
- Подходит ли инфраструктура для КИИ?
Да, аттестация по 152-ФЗ, соответствие приказам ФСТЭК, работа в закрытом контуре.