Apache Kafka - Запуск

Page / - Изменено Alexandr Fokin в 2022/12/12 12:29

Запуск

Изменено Alexandr Fokin

в 2022/12/12 12:29

Оглавление

1) Запуск на windows

Простой запуст на Windows:
1) Раскоменнтировать и изменить строки в файле:
kafka_2.12-2.4.0\config\server.properties
listeners=PLAINTEXT://127.0.0.1:9092
advertised.listeners=PLAINTEXT://127.0.0.1:9092

2) Запустить Apache ZooKeeper
kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"

3) Запустить Kafka
kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"

У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях
Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
Drive:\tmp\kafka-logs
Drive:\tmp\zookeeper

Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
kafka_2.12-2.4.0\bin\windows

2) VBox. Bitnami Kafka machine

https://bitnami.com/stack/kafka/virtual-machine
https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/

Виртуальная машина с развернутыми и запущенными Apache ZooKeeper и Kafka.
Username: bitnami
Password: bitnami
В Kafka по умолчанию включена авторизация.

1) Скачать образ и импортировать его в Vbox

2) Для доступа извне открыть порты:
sudo ufw allow 9092

3) Взять кредлы из конфига

В виртуальной машине путь к кофигам:
/opt/bitnami/kafka/config
server.properties - общие настройки kafka
kafka_jaas.conf - данные для авторизации

//Примеры конфига для Confluent.Kafka
new AdminClientConfig
{
BootstrapServers = "127.0.0.1:9092",
SaslMechanism = SaslMechanism.Plain,
SecurityProtocol = SecurityProtocol.SaslPlaintext,
SaslUsername = <UserFromConfig>,
SaslPassword = <PasswordFromConfig>
}

3) Docker-Compose

Guide to Setting Up Apache Kafka Using Docker
https://www.baeldung.com/ops/kafka-docker-setup

4) Другое

https://github.com/lensesio/fast-data-dev