Apache Kafka - Запуск 

Page / - Изменено Alexandr Fokin в 2020/08/15 22:16 

Запуск 
Изменено Alexandr Fokin
в 2020/08/15 22:16

Оглавление

1) Запуск на windows
Простой запуст на Windows:
1) Раскоменнтировать и изменить строки в файле:
kafka_2.12-2.4.0\config\server.properties
listeners=PLAINTEXT://127.0.0.1:9092
advertised.listeners=PLAINTEXT://127.0.0.1:9092
2) Запустить ZooKeeper
kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
3) Запустить Kafka
kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях
Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
Drive:\tmp\kafka-logs
Drive:\tmp\zookeeper
Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
kafka_2.12-2.4.0\bin\windows
2)  VBox. Bitnami Kafka machine
https://bitnami.com/stack/kafka/virtual-machine
https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
Виртуальная машина с развернутыми и запущенными Zookeper и Kafka.
Username: bitnami
Password: bitnami
В Kafka по умолчанию включена авторизация.
1) Скачать образ и импортировать его в Vbox
2) Для доступа извне открыть порты:
sudo ufw allow 9092
3) Взять кредлы из конфига
В виртуальной машине путь к кофигам:
/opt/bitnami/kafka/config
server.properties - общие настройки kafka
kafka_jaas.conf - данные для авторизации
  //Примеры конфига для Confluent.Kafka
 new AdminClientConfig
   {
       BootstrapServers = "127.0.0.1:9092",

       SaslMechanism = SaslMechanism.Plain,
       SecurityProtocol = SecurityProtocol.SaslPlaintext,
       SaslUsername = <UserFromConfig>,
       SaslPassword = <PasswordFromConfig>
   }