Комментарий

• Свойства страницы (2 изменено, 0 добавлено, 0 удалено)
• Объекты (0 изменено, 1 добавлено, 0 удалено)
  • XWiki.XWikiComments[0]

Подробности

Свойства страницы

Родительский документ

...	...	@@ -1,1 +1,1 @@
1		-Разработка.Очереди сообщений.Apache Kafka.WebHome
	1	+Разработка.Брокеры сообщений.Apache Kafka.WebHome

Содержимое

...	...	@@ -1,4 +2,3 @@
1		-
2	2	**1) Запуск на windows**
3	3	Простой запуст на Windows:
4	4	1) Раскоменнтировать и изменить строки в файле:
...	...	@@ -6,20 +6,35 @@
6	6	listeners=PLAINTEXT://127.0.0.1:9092
7	7	advertised.listeners=PLAINTEXT://127.0.0.1:9092
8	8
9		-2) Запустить ZooKeeper
	8	+2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Apache ZooKeeper.WebHome]]
10	10	kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
11	11
12	12	3) Запустить Kafka
13	13	kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
14	14
	14	+__У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
	15	+Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
	16	+Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
	17	+Drive:\tmp\kafka-logs
	18	+Drive:\tmp\zookeeper
15	15
	20	+Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
	21	+kafka_2.12-2.4.0\bin\windows
	22	+
	23	+
16	16	2) ** VBox. Bitnami Kafka machine**
17	17	https://bitnami.com/stack/kafka/virtual-machine
18	18	https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
19	19
	28	+Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Apache ZooKeeper.WebHome]] и Kafka.
	29	+Username: bitnami
	30	+Password: bitnami
	31	+В Kafka по умолчанию включена авторизация.
	32	+
20	20	1) Скачать образ и импортировать его в Vbox
21	21
22	22	2) Для доступа извне открыть порты:
	36	+sudo ufw allow 9092
23	23
24	24	3) Взять кредлы из конфига
25	25
...	...	@@ -27,3 +27,24 @@
27	27	/opt/bitnami/kafka/config
28	28	server.properties - общие настройки kafka
29	29	kafka_jaas.conf - данные для авторизации
	44	+
	45	+{{code language="c#"}}
	46	+ //Примеры конфига для Confluent.Kafka
	47	+ new AdminClientConfig
	48	+ {
	49	+ BootstrapServers = "127.0.0.1:9092",
	50	+
	51	+ SaslMechanism = SaslMechanism.Plain,
	52	+ SecurityProtocol = SecurityProtocol.SaslPlaintext,
	53	+ SaslUsername = <UserFromConfig>,
	54	+ SaslPassword = <PasswordFromConfig>
	55	+ }
	56	+{{/code}}
	57	+
	58	+
	59	+3) ** Docker-Compose**
	60	+Guide to Setting Up Apache Kafka Using Docker
	61	+https://www.baeldung.com/ops/kafka-docker-setup
	62	+
	63	+4) **Другое**
	64	+https://github.com/lensesio/fast-data-dev

XWiki.XWikiComments[0]

Автор

...	...	@@ -1,0 +1,1 @@
	1	+XWiki.cccc1808

Комментарий

...	...	@@ -1,0 +1,6 @@
	1	+Дополнение к пункту VBox. Bitnami Kafka machine.
	2	+На VM по умолчанию был включен адаптер в режиме Сетевой мост (т.е. подключение напрямую к роутеру)
	3	+В Confluent.Kafka при попытке авторизации возникала неизвестная ошибка, причем ip адрес, указанный в ней 127.0.0.1, хотя vm имела свой ip и в конфиге подключения был указан именно он.
	4	+
	5	+Решил проблему переключением адаптера на режим NAT с пробросом порта 9092 из VM в основную систему.
	6	+Странно, нет ли у данной библиотеки проблемы с авторизацией на удаленной машине с Kafka.

Дата

...	...	@@ -1,0 +1,1 @@
	1	+2020-08-15 22:16:55.633