Изменения документа Apache Kafka. Запуск

Редактировал(а) Alexandr Fokin 2023/12/16 14:11
От версии 1.1 >
отредактировано Alexandr Fokin
на 2020/08/15 21:59
К версии < 4.3 >
отредактировано Alexandr Fokin
на 2020/08/15 22:18
>
Изменить комментарий: Редактировать комментарий

Комментарий

Подробности

Свойства страницы
Содержимое
... ... @@ -1,0 +1,58 @@
1 +
2 +**1) Запуск на windows**
3 +Простой запуст на Windows:
4 +1) Раскоменнтировать и изменить строки в файле:
5 +kafka_2.12-2.4.0\config\server.properties
6 +listeners=PLAINTEXT://127.0.0.1:9092
7 +advertised.listeners=PLAINTEXT://127.0.0.1:9092
8 +
9 +2) Запустить ZooKeeper
10 +kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
11 +
12 +3) Запустить Kafka
13 +kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
14 +
15 +__У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
16 +Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
17 +Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
18 +Drive:\tmp\kafka-logs
19 +Drive:\tmp\zookeeper
20 +
21 +Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
22 +kafka_2.12-2.4.0\bin\windows
23 +
24 +
25 +2) ** VBox. Bitnami Kafka machine**
26 +https://bitnami.com/stack/kafka/virtual-machine
27 +https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
28 +
29 +Виртуальная машина с развернутыми и запущенными Zookeper и Kafka.
30 +Username: bitnami
31 +Password: bitnami
32 +В Kafka по умолчанию включена авторизация.
33 +
34 +1) Скачать образ и импортировать его в Vbox
35 +
36 +2) Для доступа извне открыть порты:
37 +sudo ufw allow 9092
38 +
39 +3) Взять кредлы из конфига
40 +
41 +В виртуальной машине путь к кофигам:
42 +/opt/bitnami/kafka/config
43 +server.properties - общие настройки kafka
44 +kafka_jaas.conf - данные для авторизации
45 +
46 +{{code language="c#"}}
47 + //Примеры конфига для Confluent.Kafka
48 + new AdminClientConfig
49 + {
50 + BootstrapServers = "127.0.0.1:9092",
51 +
52 + SaslMechanism = SaslMechanism.Plain,
53 + SecurityProtocol = SecurityProtocol.SaslPlaintext,
54 + SaslUsername = <UserFromConfig>,
55 + SaslPassword = <PasswordFromConfig>
56 + }
57 +{{/code}}
58 +
XWiki.XWikiComments[0]
Автор
... ... @@ -1,0 +1,1 @@
1 +XWiki.cccc1808
Комментарий
... ... @@ -1,0 +1,6 @@
1 +Дополнение к пункту VBox. Bitnami Kafka machine.
2 +На VM по умолчанию был включен адаптер в режиме Сетевой мост (т.е. подключение напрямую к роутеру)
3 +В Confluent.Kafka при попытке авторизации возникала неизвестная ошибка, причем ip адрес, указанный в ней 127.0.0.1, хотя vm имела свой ip и в конфиге подключения был указан именно он.
4 +
5 +Решил проблему переключением адаптера на режим NAT с пробросом порта 9092 из VM в основную систему.
6 +Странно, нет ли у данной библиотеки проблемы с авторизацией на удаленной машине с Kafka.
Дата
... ... @@ -1,0 +1,1 @@
1 +2020-08-15 22:16:55.633