Apache Kafka - Запуск

Page / - Изменено Alexandr Fokin в 2020/08/15 21:59

Запуск

Изменено Alexandr Fokin

в 2020/08/15 21:59

Оглавление

1) Запуск на Windows	Простой запуст на Windows: 1) Раскоменнтировать и изменить строки в файле: kafka_2.12-2.4.0\config\server.properties listeners=PLAINTEXT://127.0.0.1:9092 advertised.listeners=PLAINTEXT://127.0.0.1:9092 2) Запустить Apache ZooKeeper kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties" 3) Запустить Kafka kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties" У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka. Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок: Drive:\tmp\kafka-logs Drive:\tmp\zookeeper Для взаимодействия с ApacheKafka можно использовать Kafka console tool.
2) VirtualBox. Bitnami Kafka machine	https://bitnami.com/stack/kafka/virtual-machine https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/ Виртуальная машина с развернутыми и запущенными Apache ZooKeeper и Kafka. Username: bitnami Password: bitnami В Kafka по умолчанию включена авторизация. 1) Скачать образ и импортировать его в Vbox 2) Для доступа извне открыть порты: sudo ufw allow 9092 3) Взять кредлы из конфига В виртуальной машине путь к кофигам: /opt/bitnami/kafka/config server.properties - общие настройки kafka kafka_jaas.conf - данные для авторизации //Примеры конфига для Confluent.Kafka new AdminClientConfig { BootstrapServers = "127.0.0.1:9092", SaslMechanism = SaslMechanism.Plain, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslUsername = <UserFromConfig>, SaslPassword = <PasswordFromConfig> }
3) Docker-Compose	Guide to Setting Up Apache Kafka Using Docker https://www.baeldung.com/ops/kafka-docker-setup
4) Другое	https://github.com/lensesio/fast-data-dev