Изменения документа Apache Kafka. Запуск

Редактировал(а) Alexandr Fokin 2023/12/16 14:11
От версии 1.1 >
отредактировано Alexandr Fokin
на 2020/08/15 21:59
К версии < 8.7 >
отредактировано Alexandr Fokin
на 2023/01/28 21:24
>
Изменить комментарий: К данной версии нет комментариев

Комментарий

Подробности

Свойства страницы
Название
... ... @@ -1,1 +1,1 @@
1 -Запуск
1 +Apache Kafka. Запуск
Родительский документ
... ... @@ -1,1 +1,1 @@
1 -Разработка.Очереди сообщений.Apache Kafka.WebHome
1 +Разработка.Брокеры сообщений.Apache Kafka.WebHome
Содержимое
... ... @@ -1,0 +1,60 @@
1 +|1) Запуск на [[Windows>>doc:Хостинг.Операционные системы.Windows.WebHome]]|(((
2 +Простой запуст на Windows:
3 +1) Раскоменнтировать и изменить строки в файле:
4 +kafka_2.12-2.4.0\config\server.properties
5 +listeners=PLAINTEXT://127.0.0.1:9092
6 +advertised.listeners=PLAINTEXT://127.0.0.1:9092
7 +
8 +2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
9 +kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
10 +
11 +3) Запустить Kafka
12 +kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
13 +
14 +__У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
15 +Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
16 +Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
17 +Drive:\tmp\kafka-logs
18 +Drive:\tmp\zookeeper
19 +
20 +Для взаимодействия с ApacheKafka можно использовать [[Kafka console tool>>doc:Разработка.Брокеры сообщений.Apache Kafka.Kafka console tool.WebHome]].
21 +)))
22 +|2) [[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]].
23 +Bitnami Kafka machine|(((
24 +[[(% id="cke_bm_1143S" style="display:none" %) (%%)https:~~/~~/bitnami.com/stack/kafka/virtual-machine>>https://bitnami.com/stack/kafka/virtual-machine]]
25 +https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
26 +
27 +Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
28 +Username: bitnami
29 +Password: bitnami
30 +В Kafka по умолчанию включена авторизация.
31 +
32 +
33 +1) Скачать образ и импортировать его в Vbox
34 +
35 +2) Для доступа извне открыть порты:
36 +sudo ufw allow 9092
37 +
38 +3) Взять кредлы из конфига
39 +
40 +В виртуальной машине путь к кофигам:
41 +/opt/bitnami/kafka/config
42 +server.properties - общие настройки kafka
43 +kafka_jaas.conf - данные для авторизации
44 +
45 +{{code language="c#"}}
46 + //Примеры конфига для Confluent.Kafka
47 + new AdminClientConfig
48 + {
49 + BootstrapServers = "127.0.0.1:9092",
50 +
51 + SaslMechanism = SaslMechanism.Plain,
52 + SecurityProtocol = SecurityProtocol.SaslPlaintext,
53 + SaslUsername = <UserFromConfig>,
54 + SaslPassword = <PasswordFromConfig>
55 + }
56 +{{/code}}
57 +)))
58 +|3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]]|Guide to Setting Up Apache Kafka Using Docker
59 +https://www.baeldung.com/ops/kafka-docker-setup
60 +|4) **Другое**|https://github.com/lensesio/fast-data-dev
XWiki.XWikiComments[0]
Автор
... ... @@ -1,0 +1,1 @@
1 +XWiki.cccc1808
Комментарий
... ... @@ -1,0 +1,6 @@
1 +Дополнение к пункту VBox. Bitnami Kafka machine.
2 +На VM по умолчанию был включен адаптер в режиме Сетевой мост (т.е. подключение напрямую к роутеру)
3 +В Confluent.Kafka при попытке авторизации возникала неизвестная ошибка, причем ip адрес, указанный в ней 127.0.0.1, хотя vm имела свой ip и в конфиге подключения был указан именно он.
4 +
5 +Решил проблему переключением адаптера на режим NAT с пробросом порта 9092 из VM в основную систему.
6 +Странно, нет ли у данной библиотеки проблемы с авторизацией на удаленной машине с Kafka.
Дата
... ... @@ -1,0 +1,1 @@
1 +2020-08-15 22:16:55.633