Изменения документа Apache Kafka. Запуск

Редактировал(а) Alexandr Fokin 2023/12/16 14:11
От версии < 8.5 >
отредактировано Alexandr Fokin
на 2022/12/17 11:52
К версии 1.1 >
отредактировано Alexandr Fokin
на 2020/08/15 21:59
>
Изменить комментарий: К данной версии нет комментариев

Комментарий

Подробности

Свойства страницы
Название
... ... @@ -1,1 +1,1 @@
1 -Apache Kafka. Запуск
1 +Запуск
Родительский документ
... ... @@ -1,1 +1,1 @@
1 -Разработка.Брокеры сообщений.Apache Kafka.WebHome
1 +Разработка.Очереди сообщений.Apache Kafka.WebHome
Содержимое
... ... @@ -1,72 +1,0 @@
1 -**1) Запуск на windows**
2 -
3 -Простой запуст на Windows:
4 -1) Раскоменнтировать и изменить строки в файле:
5 -kafka_2.12-2.4.0\config\server.properties
6 -listeners=PLAINTEXT://127.0.0.1:9092
7 -advertised.listeners=PLAINTEXT://127.0.0.1:9092
8 -
9 -2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
10 -kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
11 -
12 -3) Запустить Kafka
13 -kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
14 -
15 -__У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
16 -Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
17 -Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
18 -Drive:\tmp\kafka-logs
19 -Drive:\tmp\zookeeper
20 -
21 -Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
22 -kafka_2.12-2.4.0\bin\windows
23 -
24 -----
25 -
26 -2) **[[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]]. Bitnami Kafka machine**
27 -
28 -https://bitnami.com/stack/kafka/virtual-machine
29 -https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
30 -
31 -Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
32 -Username: bitnami
33 -Password: bitnami
34 -В Kafka по умолчанию включена авторизация.
35 -
36 -1) Скачать образ и импортировать его в Vbox
37 -
38 -2) Для доступа извне открыть порты:
39 -sudo ufw allow 9092
40 -
41 -3) Взять кредлы из конфига
42 -
43 -В виртуальной машине путь к кофигам:
44 -/opt/bitnami/kafka/config
45 -server.properties - общие настройки kafka
46 -kafka_jaas.conf - данные для авторизации
47 -
48 -{{code language="c#"}}
49 - //Примеры конфига для Confluent.Kafka
50 - new AdminClientConfig
51 - {
52 - BootstrapServers = "127.0.0.1:9092",
53 -
54 - SaslMechanism = SaslMechanism.Plain,
55 - SecurityProtocol = SecurityProtocol.SaslPlaintext,
56 - SaslUsername = <UserFromConfig>,
57 - SaslPassword = <PasswordFromConfig>
58 - }
59 -{{/code}}
60 -
61 -----
62 -
63 -3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]]
64 -
65 -Guide to Setting Up Apache Kafka Using Docker
66 -https://www.baeldung.com/ops/kafka-docker-setup
67 -
68 -----
69 -
70 -4) **Другое**
71 -
72 -https://github.com/lensesio/fast-data-dev
XWiki.XWikiComments[0]
Автор
... ... @@ -1,1 +1,0 @@
1 -XWiki.cccc1808
Комментарий
... ... @@ -1,6 +1,0 @@
1 -Дополнение к пункту VBox. Bitnami Kafka machine.
2 -На VM по умолчанию был включен адаптер в режиме Сетевой мост (т.е. подключение напрямую к роутеру)
3 -В Confluent.Kafka при попытке авторизации возникала неизвестная ошибка, причем ip адрес, указанный в ней 127.0.0.1, хотя vm имела свой ip и в конфиге подключения был указан именно он.
4 -
5 -Решил проблему переключением адаптера на режим NAT с пробросом порта 9092 из VM в основную систему.
6 -Странно, нет ли у данной библиотеки проблемы с авторизацией на удаленной машине с Kafka.
Дата
... ... @@ -1,1 +1,0 @@
1 -2020-08-15 22:16:55.633