Apache Kafka. Запуск

Версия 8.7 от Alexandr Fokin на 2023/01/28 21:24

1) Запуск на Windows

Простой запуст на Windows:
1) Раскоменнтировать и изменить строки в файле:
kafka_2.12-2.4.0\config\server.properties
listeners=PLAINTEXT://127.0.0.1:9092
advertised.listeners=PLAINTEXT://127.0.0.1:9092

2) Запустить Apache ZooKeeper
kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"

3) Запустить Kafka
kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"

У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях
Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
Drive:\tmp\kafka-logs
Drive:\tmp\zookeeper

Для взаимодействия с ApacheKafka можно использовать Kafka console tool.

2)  VirtualBox.
Bitnami Kafka machine

https://bitnami.com/stack/kafka/virtual-machine
https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/

Виртуальная машина с развернутыми и запущенными Apache ZooKeeper и Kafka.
Username: bitnami
Password: bitnami
В Kafka по умолчанию включена авторизация.

1) Скачать образ и импортировать его в Vbox

2) Для доступа извне открыть порты:
sudo ufw allow 9092

3) Взять кредлы из конфига

В виртуальной машине путь к кофигам:
/opt/bitnami/kafka/config
server.properties - общие настройки kafka
kafka_jaas.conf - данные для авторизации

  //Примеры конфига для Confluent.Kafka
 new AdminClientConfig
   {
       BootstrapServers = "127.0.0.1:9092",

       SaslMechanism = SaslMechanism.Plain,
       SecurityProtocol = SecurityProtocol.SaslPlaintext,
       SaslUsername = <UserFromConfig>,
       SaslPassword = <PasswordFromConfig>
   }
3)  Docker-ComposeGuide to Setting Up Apache Kafka Using Docker
https://www.baeldung.com/ops/kafka-docker-setup
4) Другоеhttps://github.com/lensesio/fast-data-dev
Теги:
Создал(а) Alexandr Fokin 2020/10/20 16:02