Комментарий

• Свойства страницы (3 изменено, 0 добавлено, 0 удалено)
• Объекты (0 изменено, 1 добавлено, 0 удалено)
  • XWiki.XWikiComments[0]

Подробности

Свойства страницы

Название

...	...	@@ -1,1 +1,1 @@
1		-Запуск
	1	+Apache Kafka. Запуск

Родительский документ

...	...	@@ -1,1 +1,1 @@
1		-Разработка.Очереди сообщений.Apache Kafka.WebHome
	1	+Разработка.Брокеры сообщений.Apache Kafka.WebHome

Содержимое

...	...	@@ -1,5 +1,4 @@
1		-
2		-**1) Запуск на windows**
	1	+|1) Запуск на [[Windows>>doc:Хостинг.Операционные системы.Windows.WebHome]]|(((
3	3	Простой запуст на Windows:
4	4	1) Раскоменнтировать и изменить строки в файле:
5	5	kafka_2.12-2.4.0\config\server.properties
...	...	@@ -6,20 +6,35 @@
6	6	listeners=PLAINTEXT://127.0.0.1:9092
7	7	advertised.listeners=PLAINTEXT://127.0.0.1:9092
8	8
9		-2) Запустить ZooKeeper
	8	+2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
10	10	kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
11	11
12	12	3) Запустить Kafka
13	13	kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
14	14
	14	+__У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
	15	+Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
	16	+Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
	17	+Drive:\tmp\kafka-logs
	18	+Drive:\tmp\zookeeper
15	15
16		-2) ** VBox. Bitnami Kafka machine**
17		-https://bitnami.com/stack/kafka/virtual-machine
	20	+Для взаимодействия с ApacheKafka можно использовать [[Kafka console tool>>doc:Разработка.Брокеры сообщений.Apache Kafka.Kafka console tool.WebHome]].
	21	+)))
	22	+|2) [[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]].
	23	+Bitnami Kafka machine|(((
	24	+[[(% id="cke_bm_1143S" style="display:none" %) (%%)https:~~/~~/bitnami.com/stack/kafka/virtual-machine>>https://bitnami.com/stack/kafka/virtual-machine]]
18	18	https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
19	19
	27	+Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
	28	+Username: bitnami
	29	+Password: bitnami
	30	+В Kafka по умолчанию включена авторизация.
	31	+
	32	+
20	20	1) Скачать образ и импортировать его в Vbox
21	21
22	22	2) Для доступа извне открыть порты:
	36	+sudo ufw allow 9092
23	23
24	24	3) Взять кредлы из конфига
25	25
...	...	@@ -27,3 +27,20 @@
27	27	/opt/bitnami/kafka/config
28	28	server.properties - общие настройки kafka
29	29	kafka_jaas.conf - данные для авторизации
	44	+
	45	+{{code language="c#"}}
	46	+ //Примеры конфига для Confluent.Kafka
	47	+ new AdminClientConfig
	48	+ {
	49	+ BootstrapServers = "127.0.0.1:9092",
	50	+
	51	+ SaslMechanism = SaslMechanism.Plain,
	52	+ SecurityProtocol = SecurityProtocol.SaslPlaintext,
	53	+ SaslUsername = <UserFromConfig>,
	54	+ SaslPassword = <PasswordFromConfig>
	55	+ }
	56	+{{/code}}
	57	+)))
	58	+|3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]]|Guide to Setting Up Apache Kafka Using Docker
	59	+https://www.baeldung.com/ops/kafka-docker-setup
	60	+|4) **Другое**|https://github.com/lensesio/fast-data-dev

XWiki.XWikiComments[0]

Дата

...	...	@@ -1,0 +1,1 @@
	1	+2020-08-15 22:16:55.633

Автор

...	...	@@ -1,0 +1,1 @@
	1	+XWiki.cccc1808

Комментарий

...	...	@@ -1,0 +1,6 @@
	1	+Дополнение к пункту VBox. Bitnami Kafka machine.
	2	+На VM по умолчанию был включен адаптер в режиме Сетевой мост (т.е. подключение напрямую к роутеру)
	3	+В Confluent.Kafka при попытке авторизации возникала неизвестная ошибка, причем ip адрес, указанный в ней 127.0.0.1, хотя vm имела свой ip и в конфиге подключения был указан именно он.
	4	+
	5	+Решил проблему переключением адаптера на режим NAT с пробросом порта 9092 из VM в основную систему.
	6	+Странно, нет ли у данной библиотеки проблемы с авторизацией на удаленной машине с Kafka.