Apache Kafka - Запуск 

Page / - Изменено Alexandr Fokin в 2022/12/13 15:13 

Запуск 
Изменено Alexandr Fokin
в 2022/12/13 15:13

Оглавление

1) Запуск на Windows	Простой запуст на Windows:
1) Раскоменнтировать и изменить строки в файле:
kafka_2.12-2.4.0\config\server.properties
listeners=PLAINTEXT://127.0.0.1:9092
advertised.listeners=PLAINTEXT://127.0.0.1:9092
2) Запустить Apache ZooKeeper
kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
3) Запустить Kafka
kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях
Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
Drive:\tmp\kafka-logs
Drive:\tmp\zookeeper
Для взаимодействия с ApacheKafka можно использовать Kafka console tool.	
2)  VirtualBox.
Bitnami Kafka machine	 https://bitnami.com/stack/kafka/virtual-machine
https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
Виртуальная машина с развернутыми и запущенными Apache ZooKeeper и Kafka.
Username: bitnami
Password: bitnami
В Kafka по умолчанию включена авторизация.
1) Скачать образ и импортировать его в Vbox
2) Для доступа извне открыть порты:
sudo ufw allow 9092
3) Взять кредлы из конфига
В виртуальной машине путь к кофигам:
/opt/bitnami/kafka/config
server.properties - общие настройки kafka
kafka_jaas.conf - данные для авторизации
  //Примеры конфига для Confluent.Kafka
 new AdminClientConfig
   {
       BootstrapServers = "127.0.0.1:9092",

       SaslMechanism = SaslMechanism.Plain,
       SecurityProtocol = SecurityProtocol.SaslPlaintext,
       SaslUsername = <UserFromConfig>,
       SaslPassword = <PasswordFromConfig>
   }	
3)  Docker-Compose	Guide to Setting Up Apache Kafka Using Docker
https://www.baeldung.com/ops/kafka-docker-setup	
4) Другое	https://github.com/lensesio/fast-data-dev