Облако для Kafka

Apache Kafka — шина данных или распределенный брокер сообщений. Kafka может горизонтально масштабироваться, чтобы передавать данные от одного приложения к другому или между компонентами приложения.

Данные через Kafka передаются по принципу «публикация-подписка» при помощи топиков.

Среди преимуществ Kafka as a Service выделяют следующие:

• легко и надежно масштабируется,
• показывает высокую производительность,
• позволяет проводить обработку данных в потоке в реальном времени,
• просто интегрируется с большим числом других систем,
• позволяет хранить действительно большие данные и даже использовать ее как единую базу данных организации.

Топик помогает группировать сообщения по категориям. Пользователи подписываются на топики, которые создаются производителями. Подписка дает возможность читать сообщения внутри топика. Для каждого из них Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов.

Раздел — это все сообщения внутри топика, которые расположены в последовательности от новых к старым. Таким образом, пользователи могут видеть самые свежие сообщения в топике в первую очередь.

• Агрегация событий или логов — например Clickstream.
• Доставка событий многим потребителям. Происходит так, что событие генерируется в одном месте, а обрабатывается одновременно несколькими системами.
• Построение Event-Sourcing или Event-Driven системы. В этом случае Kafka используется как источник достоверных данных для обеспечения отказоустойчивости и надежности в таких архитектурах. В Kafka складываются основные события о системе. Микросервисы обновляют свои локальные базы данных из Kafka.
• Stream-processing. В этом случае Kafka используется как промежуточное хранилище для потоковой передачи данных из одной системы в другую.

Вы сможете управлять hosting для Kafka из нашей панели управления, через API и Terraform.

Managed Kafka поддерживает Apache Kafka версии 3.5.

При создании Kafka в облаке (Cloud Kafka) можно выбрать разную конфигурацию нод — количество vCPU, RAM и размер диска. Доступные конфигурации нод разделены на линейки. Ознакомиться с ними можно в калькуляторе.

Зарегистрируйтесь в панели управления, перейдите в раздел Облачные базы данных и создайте новый кластер баз данных, выбрав конфигурации облака и шины данных. Управлять базой данных можно также из панели управления.

У нас нет резервного копирования в рамках Managed Kafka.

Нет, мы не предоставляем роль суперпользователя для работы с облачными базами данных Selectel.

Суперпользователь может полностью контролировать базу данных и сервер, например изменять конфигурации, управлять пользователями и выполнять критически важные команды. Предоставление этой роли может привести к нарушению безопасности, утечке данных и сбоям в работе системы. Если вам необходимо выполнить действия, которые может выполнить только суперпользователь, создайте тикет.

Шесть наших собственных дата-центров расположены в России: в Москве, Санкт-Петербурге и Ленинградской области. Но вы также можете арендовать Kafka в партнерском ДЦ в Новосибирске.

Да, у нас есть бесплатная техподдержка. Работаем 24/7 и отвечаем на вопросы об инфраструктуре в течение 15 минут.