Исходный код вики Apache Kafka. Запуск

Версия 8.5 от Alexandr Fokin на 2022/12/17 11:52

Скрыть последних авторов
Alexandr Fokin 2.1 1 **1) Запуск на windows**
Alexandr Fokin 8.2 2
Alexandr Fokin 2.1 3 Простой запуст на Windows:
4 1) Раскоменнтировать и изменить строки в файле:
5 kafka_2.12-2.4.0\config\server.properties
6 listeners=PLAINTEXT://127.0.0.1:9092
7 advertised.listeners=PLAINTEXT://127.0.0.1:9092
8
Alexandr Fokin 8.1 9 2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
Alexandr Fokin 2.1 10 kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
11
12 3) Запустить Kafka
13 kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
14
Alexandr Fokin 3.1 15 __У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
16 Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
17 Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
18 Drive:\tmp\kafka-logs
19 Drive:\tmp\zookeeper
Alexandr Fokin 2.1 20
Alexandr Fokin 3.1 21 Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
22 kafka_2.12-2.4.0\bin\windows
23
Alexandr Fokin 8.2 24 ----
Alexandr Fokin 3.1 25
Alexandr Fokin 8.4 26 2) **[[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]]. Bitnami Kafka machine**
Alexandr Fokin 8.2 27
Alexandr Fokin 2.1 28 https://bitnami.com/stack/kafka/virtual-machine
29 https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
30
Alexandr Fokin 8.1 31 Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
Alexandr Fokin 3.1 32 Username: bitnami
33 Password: bitnami
34 В Kafka по умолчанию включена авторизация.
35
Alexandr Fokin 2.1 36 1) Скачать образ и импортировать его в Vbox
37
38 2) Для доступа извне открыть порты:
Alexandr Fokin 3.1 39 sudo ufw allow 9092
Alexandr Fokin 2.1 40
41 3) Взять кредлы из конфига
42
43 В виртуальной машине путь к кофигам:
44 /opt/bitnami/kafka/config
45 server.properties - общие настройки kafka
46 kafka_jaas.conf - данные для авторизации
Alexandr Fokin 4.1 47
48 {{code language="c#"}}
49 //Примеры конфига для Confluent.Kafka
50 new AdminClientConfig
51 {
52 BootstrapServers = "127.0.0.1:9092",
53
54 SaslMechanism = SaslMechanism.Plain,
55 SecurityProtocol = SecurityProtocol.SaslPlaintext,
56 SaslUsername = <UserFromConfig>,
57 SaslPassword = <PasswordFromConfig>
58 }
59 {{/code}}
60
Alexandr Fokin 8.2 61 ----
Alexandr Fokin 5.1 62
Alexandr Fokin 8.3 63 3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]]
Alexandr Fokin 8.2 64
Alexandr Fokin 5.1 65 Guide to Setting Up Apache Kafka Using Docker
66 https://www.baeldung.com/ops/kafka-docker-setup
67
Alexandr Fokin 8.2 68 ----
69
Alexandr Fokin 6.1 70 4) **Другое**
Alexandr Fokin 8.2 71
Alexandr Fokin 6.1 72 https://github.com/lensesio/fast-data-dev