Как подключить Kafka UI к кластеру Kafka в DBaaS

Работать с Kafka в DBaaS — удобно: инфраструктура поддерживается сильно проще, пока вы фокусируетесь на логике приложения. Но есть нюанс: прямой доступ к брокерам и CLI ограничен. Это усложняет отладку, анализ данных и диагностику consumer — особенно если у вас десятки топиков и групп.

Kafka UI — это Open Source-инструмент, который решает описанную проблему: он предоставляет веб-интерфейс для просмотра топиков, сообщений и состояния consumer groups без прямого доступа к брокерам.

На связи Ксения Ершова, проектировщик интерфейсов в Selectel. В статье расскажу, как развернуть на облачном сервере Kafka UI в публичном доступе, подключить его к Kafka-кластеру в DBaaS Selectel и проверить, что все работает.

Что такое Kafka UI

С помощью Kafka UI можно:

• просматривать список топиков и их конфигурацию;
• читать сообщения из топиков (в том числе с ключами, headers и offset);
• отслеживать состояние consumer groups и lag;
• анализировать партиции и реплики;
• работать со схемами сообщений при наличии Schema Registry.

Kafka UI не заменяет инструменты для мониторинга или администрирования кластера, но значительно упрощает отладку и исследование данных. Несколько типовых сценариев использования, с которыми может помочь Kafka UI:

• быстрая проверка наличия сообщений в топике;
• диагностика consumer lag без подключений к брокерам;
• анализ структуры сообщений (ключи, headers, offsets);
• проверка конфигурации топиков и партиций.

Архитектура подключения

В рамках данной инструкции используется следующая схема:

• Kafka-кластер арендован в сервисе управляемых баз данных (DBaaS) Selectel;
• Kafka UI развернут на облачном сервере Selectel;
• соединение между Kafka UI и кластером Kafka осуществляется по сети с использованием SASL/SCRAM-аутентификации.

Подготовка Kafka-кластера

Создание кластера Kafka

1. В панели управления переходим в раздел Продукты → Облачные базы данных. 

2. Нажимаем Создать кластер. 

3. В открывшемся окне настраиваем кластер по инструкции с типом СУБД Kafka. Для примера буду использовать минимальную конфигурации из группы Standard на базе Intel^® Xeon^® Scalable или AMD EPYC^™ 2,2-2,4 ГГц с локальным SSD NVMe диском. В панели управления даже есть сноска о том, что данная группа подходит, если вы не знаете профиль загрузки — идеальный вариант для наших обзорных целей. 

4. После создания убедитесь, что кластер находится в состоянии ACTIVE — это подтверждение, что он готов к работе. Узнать, в какой сети находится кластер, можно во вкладке Подключение.

Создание топика

Сразу после того, как кластер переходит в статус ACTIVE, нам становится доступно создание топика, к которому будет подключаться Kafka UI. Топик — это принцип группировки потока сообщений по категориям. 

1. В окне с созданным кластером переходим во вкладку Топики и нажимаем Создать топик.

2. Вводим имя топика и количество разделов (максимум — 4 000). Выбор количества разделов зависит от ваших потребностей. Разделы служат для параллельной обработки данных и масштабирования системы. Каждое сообщение записывается в определенный раздел топика, а все сообщения внутри одного раздела сохраняют свой порядок. Учтите, что после создания топика количество разделов можно изменить только в большую сторону. Но в любом случае бояться здесь нечего: процесс удаления топика простой и доступен в документации. 

3. Нажимаем Сохранить, после чего видим наш созданный топик со статусом. Как и в случае с созданием кластера, ждем, пока появится зеленая плашка ACTIVE.

Создание пользователя Kafka

Теперь нужно создать пользователя Kafka, под которым Kafka UI будет подключаться к кластеру. Как и ранее, это можно сделать, не покидая окна нашего кластера.

1. Переходим во вкладку Пользователи и нажимаем Создать пользователя. При создании сохраните пароль, так как далее его нельзя будет посмотреть в панели управления, однако при необходимости вы сможете его изменить. 

2. После того, как пользователь создан, нужно настроить доступы. Для этого во вкладке Пользователи открываем его меню и выбираем Настроить доступы.

3. Выбираем роль пользователя. Мы можем назначить одну или сразу обе:

• продюсер (producer) —  для отправки сообщений в топик;
• консьюмер (consumer) — только для чтения сообщений из топика.

Здесь я назначаю роли и консьюмера, и продюсера, так как планирую и писать, и читать. 

Напомню, что далее для подключения нам понадобятся имя пользователя и пароль, поэтому рекомендую их сохранить. 

Подготовка сервера для Kafka UI

Создание облачного сервера

Создадим облачный сервер, на котором будет развернут Kafka UI. Для примера я буду использовать сервер на Ubuntu 22.04 LTS 64-bit минимальной конфигурации. 

Важно: сервер должен иметь сетевую связность с Kafka-кластером (одна сеть, VPN или настроенные правила маршрутизации). Несмотря на то, что далее связность мы будем осуществлять по приватной сети, IP-адрес все равно понадобится для установки необходимых команд и размещения Kafka UI. Для этого при создании облачного сервера выберите Новый публичный IP-адрес в соответствующем поле.

Проверка сетевой доступности

После создания сервера переходим в консоль и далее будем работать через нее.

Проверим подключение к кластеру. Для этого будем следовать инструкции из вкладки Подключение с небольшими корректировками.

Я буду использовать подключение с шифрованием (SASL_SSL) и указанием CA-сертификата. Этот вариант обеспечивает защищенную передачу данных и проверку подлинности сервера.

Если вы настраиваете тестовое окружение или работаете внутри полностью изолированной сети, можно упростить конфигурацию и использовать SASL_PLAINTEXT — в этом случае сертификат не потребуется. 

Но важно учитывать, что при таком подключении трафик между клиентом и Kafka не шифруется, а учетные данные передаются в открытом виде. По этой причине для любых сценариев, где есть внешний доступ или чувствительные данные, рекомендуется использовать именно SASL_SSL.

1. Скачиваю CA-сертификат и помещаю его в папку ./certs:

      mkdir -p ./certs
wget https://storage.dbaas.selcloud.ru/CA.pem -O ./certs/ca.pem
chmod 0600 ./certs/ca.pem

2. Подключаюсь к консьюмеру с помощью kafkacat (ранняя версия kcat). При необходимости устанавливаю его:

      sudo apt update 
sudo apt install kafkacat

Пример подключения к топику:

      kafkacat -C
-b :9092
-t 
-X sasl.username=
-X sasl.password=
-X security.protocol=SASL_PLAINTEXT
-X sasl.mechanisms=SCRAM-SHA-512

Где:

• <host> — DNS или IP адрес ноды Kafka;
• <topic> — имя топика;
• <user> — имя пользователя Kafka;
• <password> — пароль пользователя Kafka.

3. Если вы видите >_ , то сетевая связанность настроена корректно и аутентификация прошла успешно.

Среди распространенных ошибок здесь вы можете столкнуться с SASL authentication error → неверный логин или пароль или Connection refused → проблема с сетью, портом или протоколом.

Настройка Kafka UI

Kafka UI чаще всего разворачивается с помощью Docker или Docker Compose. Ниже пример минимальной конфигурации docker-compose.yml для подключения Kafka UI к Kafka-кластеру в DBaaS Selectel с аутентификацией SASL/SCRAM.

Я буду передавать логин и пароль Kafka через переменные окружения (в docker-compose.yml). Это самый простой способ, и для базового сценария его вполне достаточно, однако он не является безопасным. 

Можно было бы использовать Docker secrets, но Kafka UI не поддерживает прямую работу с Docker secrets для SASL-конфигурации и для их использования требуется дополнительный entrypoint-скрипт. Лучший вариант здесь — передача имени пользователя и пароля через .env-файл. При этом сам файл стоит защитить: ограничить к нему доступ (например, через chmod 600) и не передавать его вместе с кодом или документацией.

1. Создаем файл docker-compose.yml:

      nano docker-compose.yml

2. Записываем в него данные через редактор. Docker Compose автоматически определяет версию формата YAML — указывать ее не нужно. 

      services:
  kafka-ui:
    image: provectuslabs/kafka-ui:latest
    ports:
      - "8080:8080"
    volumes:
      - ./certs:/certs
    environment:
      KAFKA_CLUSTERS_0_NAME: cloud-kafka
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: host:9093

      KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL: SASL_SSL
      KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM: SCRAM-SHA-512

      KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG: 'org.apache.kafka.common.security.scram.ScramLoginModule required username="user" password="password";'

      KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_LOCATION: /certs/truststore.jks
      KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_PASSWORD: changeit

Где:

• <BOOTSTRAPSERVERS>:9093 — DNS или IP-адрес ноды Kafka;
• <user> — имя пользователя Kafka;
• <password> — пароль пользователя Kafka.

Сохраняем:

1. Ctrl + O → Enter;
2. Ctrl + X.

3. Устанавливаем Docker:

      snap install docker

4. Для подключения к Kafka по SSL нужно добавить корневой SSL-сертификат в Java truststore. Без этого действия Kafka UI будет сыпать 500 ошибками при попытках попасть на вкладки брокеров, консьюмеров и топиков (не спрашивайте, откуда я это знаю).

      keytool -importcert -file ./certs/ca.pem -alias kafka-ca -keystore ./certs/truststore.jks -storepass changeit -noprompt

Запуск Kafka UI

1. В каталоге с docker-compose.yml выполняем следующую команду:

      docker compose up -d

2. Проверяем статус контейнера:

      docker ps

Доступ к интерфейсу

Теперь Kafka UI будет доступен по адресу http://<IP_СЕРВЕРА>:8080. В интерфейсе должен отображаться кластер Kafka и список доступных топиков:

При этом по умолчанию Kafka UI не содержит встроенной аутентификации, поэтому нужно снова подумать о безопасности. Здесь есть несколько вариантов.

• Ограничить доступ к порту 8080 через группы безопасности или файрвол (доступ только с доверенных IP). Это можно сделать прямо через панель управления Selectel: для этого в настройках облачного сервера во вкладке Порты добавьте необходимые группы безопасности на нужный порт.

• Использовать файрвол — например, ufw или iptables.
• При необходимости внешнего доступа использовать VPN.

• Размещать Kafka UI во внутренней сети.
• Настроить базовую авторизацию (basic auth) через NGINX. Для production-среды чаще используют централизованные решения, такие как OAuth2 или OIDC (например, через Keycloak), либо ограничивают доступ на уровне ingress или API gateway.

Проверка работоспособности

После подключения рекомендую выполнить несколько важных шагов для диагностики.

1. Открыть раздел Topics и убедиться, что топики отображаются.
2. Открыть тестовый топик и прочитать сообщения.
3. Проверить раздел Consumer Groups и наличие lag.
4. Убедиться, что ошибки аутентификации отсутствуют в логах контейнера:

      docker logs kafka-ui

Логирование

Для диагностики и дополнительного контроля Kafka UI пишет логи контейнера, в которых можно увидеть ошибки подключения и аутентификации. В дополнение можно настроить логирование на уровне сервера и/или кластера через сервис логов Selectel. Это можно сделать как при создании объекта, так и позже.

Заключение

Мы получили кластер Kafka в приватной сети — к нему подключен облачный сервер, также по приватной сети. Последний подключается к Kafka по SSL-сертификату, а через публичный IP я могу открыть Kafka UI и просматривать существующие топики, писать и читать в них сообщения. И все это не выходя из браузера.

В DBaaS-среде, где нет прямого доступа к брокерам, Kafka UI становится главным инструментом для отладки и анализа — без CLI, без SSH, без сложных команд. При корректно настроенной сети и аутентификации SASL/SCRAM подключение к кластеру Selectel не требует никаких изменений в самой Kafka: ни рестартов, ни настроек, ни дополнительных доработок.

В результате вы получаете удобный инструмент для диагностики consumer lag, проверки доставки сообщений и анализа структуры данных в топиках.

Kafka UI — не панацея, но идеальный инструмент для быстрой отладки и анализа в DBaaS-среде. Он не заменяет мониторинг или администрирование, однако экономит часы, когда нужно увидеть, что происходит в кластере прямо сейчас.