Kafka

Работать с Kafka в DBaaS — удобно: инфраструктура поддерживается сильно проще, пока вы фокусируетесь на логике приложения. Но есть нюанс: прямой доступ к брокерам и CLI ограничен. Это усложняет отладку, анализ данных и диагностику consumer — особенно если у вас десятки топиков и групп. Kafka UI — это Open Source-инструмент, который решает описанную проблему: он предоставляет веб-интерфейс для просмотра топиков, сообщений и состояния consumer groups без прямого доступа к брокерам. На связи Ксения Ершова, проектировщик интерфейсов в Selectel. В статье расскажу, как развернуть на облачном сервере Kafka UI в публичном доступе, подключить его к Kafka-кластеру в DBaaS Selectel и проверить, что все работает. Что такое Kafka UI Kafka UI (ранее — Kafbat UI) — это веб-интерфейс для работы с Apache Kafka, разработанный командой Provectus. Инструмент предназначен для просмотра и анализа состояния Kafka-кластера без использования CLI. С помощью Kafka UI можно: просматривать список топиков и их конфигурацию; читать сообщения из топиков (в том числе с ключами, headers и offset); отслеживать состояние consumer groups и lag; анализировать партиции и реплики; работать со схемами сообщений при наличии Schema Registry. Kafka UI не заменяет инструменты для мониторинга или администрирования кластера, но значительно упрощает отладку и исследование данных. Несколько типовых сценариев использования, с которыми может помочь Kafka UI: быстрая проверка наличия сообщений в топике; диагностика consumer lag без подключений к брокерам; анализ структуры сообщений (ключи, headers, offsets); проверка конфигурации топиков и партиций. Архитектура подключения В рамках данной инструкции используется следующая схема: Kafka-кластер арендован в сервисе управляемых баз данных (DBaaS) Selectel; Kafka UI развернут на облачном сервере Selectel; соединение между Kafka UI и кластером Kafka осуществляется по сети с использованием SASL/SCRAM-аутентификации. Подготовка Kafka-кластера Создание кластера Kafka 1. В панели управления переходим в раздел Продукты → Облачные базы данных. Выбор раздела. 2. Нажимаем Создать кластер. Создание нового кластера в панели управления. 3. В открывшемся окне настраиваем кластер по инструкции с типом СУБД Kafka. Для примера буду использовать минимальную конфигурации из группы Standard на базе Intel® Xeon® Scalable или AMD EPYC™ 2,2-2,4 ГГц с локальным SSD NVMe диском. В панели управления даже есть сноска о том, что данная группа подходит, если вы не знаете профиль загрузки — идеальный вариант для наших обзорных целей. Конфигурирование кластера баз данных под наши задачи. 4. После создания убедитесь, что кластер находится в состоянии ACTIVE — это подтверждение, что он готов к работе. Узнать, в какой сети находится кластер, можно во вкладке Подключение. Созданный кластер в состоянии Active. Создание топика Сразу после того, как кластер переходит в статус ACTIVE, нам становится доступно создание топика, к которому будет подключаться Kafka UI. Топик — это принцип группировки потока сообщений по категориям. 1. В окне с созданным кластером переходим во вкладку Топики и нажимаем Создать топик. Вкладка «Топики» в созданном кластере. 2. Вводим имя топика и количество разделов (максимум — 4 000). Выбор количества разделов зависит от ваших потребностей. Разделы служат для параллельной обработки данных и масштабирования системы. Каждое сообщение записывается в определенный раздел топика, а все сообщения внутри одного раздела сохраняют свой порядок. Учтите, что после создания топика количество разделов можно изменить только в большую сторону. Но в любом случае бояться здесь нечего: процесс удаления топика простой и доступен в документации. Конфигурирование топика. 3. Нажимаем Сохранить, после чего видим наш созданный топик со статусом. Как и в случае с созданием кластера, ждем, пока появится зеленая плашка ACTIVE. Созданный топик в панели управления. Создание пользователя Kafka Теперь нужно создать пользователя Kafka, под которым Kafka UI будет подключаться к кластеру. Как и ранее, это можно сделать, не покидая окна нашего кластера. 1. Переходим во вкладку Пользователи и нажимаем Создать пользователя. При создании сохраните пароль, так как далее его нельзя будет посмотреть в панели управления, однако при необходимости вы сможете его изменить. Создание нового пользователя. 2. После того, как пользователь создан, нужно настроить доступы. Для этого во вкладке Пользователи открываем его меню и выбираем Настроить доступы. Меню созданного пользователя. 3. Выбираем роль пользователя. Мы можем назначить одну или сразу обе: продюсер (producer) — для отправки сообщений в топик; консьюмер (consumer) — только для чтения сообщений из топика. Выбор роли для пользователя. Здесь я назначаю роли и консьюмера, и продюсера, так как планирую и писать, и читать. Пользователь с назначенными ролями. Напомню, что далее для подключения нам понадобятся имя пользователя и пароль, поэтому рекомендую их сохранить. Подготовка сервера для Kafka UI Создание облачного сервера Создадим облачный сервер, на котором будет развернут Kafka UI. Для примера я буду использовать сервер на Ubuntu 22.04 LTS 64-bit минимальной конфигурации. Важно: сервер должен иметь сетевую связность с Kafka-кластером (одна сеть, VPN или настроенные правила маршрутизации). Несмотря на то, что далее связность мы будем осуществлять по приватной сети, IP-адрес все равно понадобится для установки необходимых команд и размещения Kafka UI. Для этого при создании облачного сервера выберите Новый публичный IP-адрес в соответствующем поле. Проверка сетевой доступности После создания сервера переходим в консоль и далее будем работать через нее. Консоль в панели управления. Проверим подключение к кластеру. Для этого будем следовать инструкции из вкладки Подключение с небольшими корректировками. Инструкция во вкладке «Подключение». Я буду использовать подключение с шифрованием (SASL_SSL) и указанием CA-сертификата. Этот вариант обеспечивает защищенную передачу данных и проверку подлинности сервера. Если вы настраиваете тестовое окружение или работаете внутри полностью изолированной сети, можно упростить конфигурацию и использовать SASL_PLAINTEXT — в этом случае сертификат не потребуется. Но важно учитывать, что при таком подключении трафик между клиентом и Kafka не шифруется, а учетные данные передаются в открытом виде. По этой причине для любых сценариев, где есть внешний доступ или чувствительные данные, рекомендуется использовать именно SASL_SSL. 1. Скачиваю CA-сертификат и помещаю его в папку ./certs: 2. Подключаюсь к консьюмеру с помощью kafkacat (ранняя версия kcat). При необходимости устанавливаю его: Пример подключения к топику: Где: — DNS или IP адрес ноды Kafka; — имя топика; — имя пользователя Kafka; — пароль пользователя Kafka. 3. Если вы видите >_ , то сетевая связанность настроена корректно и аутентификация прошла успешно. Среди распространенных ошибок здесь вы можете столкнуться с SASL authentication error → неверный логин или пароль или Connection refused → проблема с сетью, портом или протоколом. Настройка Kafka UI Kafka UI чаще всего разворачивается с помощью Docker или Docker Compose. Ниже пример минимальной конфигурации docker-compose.yml для подключения Kafka UI к Kafka-кластеру в DBaaS Selectel с аутентификацией SASL/SCRAM. Я буду передавать логин и пароль Kafka через переменные окружения (в docker-compose.yml). Это самый простой способ, и для базового сценария его вполне достаточно, однако он не является безопасным. Можно было бы использовать Docker secrets, но Kafka UI не поддерживает прямую работу с Docker secrets для SASL-конфигурации и для их использования требуется дополнительный entrypoint-скрипт. Лучший вариант здесь — передача имени пользователя и пароля через .env-файл. При этом сам файл стоит защитить: ограничить к нему доступ (например, через chmod 600) и не передавать его вместе с кодом или документацией. 1. Создаем файл docker-compose.yml: 2. Записываем в него данные через редактор. Docker Compose автоматически определяет версию формата YAML — указывать ее не нужно. Где: :9093 — DNS или IP-адрес ноды Kafka; — имя пользователя Kafka; — пароль пользователя Kafka. Сохраняем: Ctrl + O → Enter; Ctrl + X. 3. Устанавливаем Docker: 4. Для подключения к Kafka по SSL нужно добавить корневой SSL-сертификат в Java truststore. Без этого действия Kafka UI будет сыпать 500 ошибками при попытках попасть на вкладки брокеров, консьюмеров и топиков (не спрашивайте, откуда я это знаю). Запуск Kafka UI 1. В каталоге с docker-compose.yml выполняем следующую команду: 2. Проверяем статус контейнера: Доступ к интерфейсу Теперь Kafka UI будет доступен по адресу http:// :8080. В интерфейсе должен отображаться кластер Kafka и список доступных топиков: При этом по умолчанию Kafka UI не содержит встроенной аутентификации, поэтому нужно снова подумать о безопасности. Здесь есть несколько вариантов. Ограничить доступ к порту 8080 через группы безопасности или файрвол (доступ только с доверенных IP). Это можно сделать прямо через панель управления Selectel: для этого в настройках облачного сервера во вкладке Порты добавьте необходимые группы безопасности на нужный порт. Использовать файрвол — например, ufw или iptables. При необходимости внешнего доступа использовать VPN. Размещать Kafka UI во внутренней сети. Настроить базовую авторизацию (basic auth) через NGINX. Для production-среды чаще используют централизованные решения, такие как OAuth2 или OIDC (например, через Keycloak), либо ограничивают доступ на уровне ingress или API gateway. Проверка работоспособности После подключения рекомендую выполнить несколько важных шагов для диагностики. Открыть раздел Topics и убедиться, что топики отображаются. Открыть тестовый топик и прочитать сообщения. Проверить раздел Consumer Groups и наличие lag. Убедиться, что ошибки аутентификации отсутствуют в логах контейнера: Логирование Для диагностики и дополнительного контроля Kafka UI пишет логи контейнера, в которых можно увидеть ошибки подключения и аутентификации. В дополнение можно настроить логирование на уровне сервера и/или кластера через сервис логов Selectel. Это можно сделать как при создании объекта, так и позже. Заключение Мы получили кластер Kafka в приватной сети — к нему подключен облачный сервер, также по приватной сети. Последний подключается к Kafka по SSL-сертификату, а через публичный IP я могу открыть Kafka UI и просматривать существующие топики, писать и читать в них сообщения. И все это не выходя из браузера. В DBaaS-среде, где нет прямого доступа к брокерам, Kafka UI становится главным инструментом для отладки и анализа — без CLI, без SSH, без сложных команд. При корректно настроенной сети и аутентификации SASL/SCRAM подключение к кластеру Selectel не требует никаких изменений в самой Kafka: ни рестартов, ни настроек, ни дополнительных доработок. В результате вы получаете удобный инструмент для диагностики consumer lag, проверки доставки сообщений и анализа структуры данных в топиках. Kafka UI — не панацея, но идеальный инструмент для быстрой отладки и анализа в DBaaS-среде. Он не заменяет мониторинг или администрирование, однако экономит часы, когда нужно увидеть, что происходит в кластере прямо сейчас.

Kafka

Зарегистрируйтесь в панели управления