Комментарий

• Свойства страницы (2 изменено, 0 добавлено, 0 удалено)
• Объекты (0 изменено, 1 добавлено, 0 удалено)
  • XWiki.XWikiComments[0]

Подробности

Свойства страницы

Родительский документ

...	...	@@ -1,1 +1,1 @@
1		-Разработка.Очереди сообщений.Apache Kafka.WebHome
	1	+Разработка.Брокеры сообщений.Apache Kafka.WebHome

Содержимое

...	...	@@ -1,5 +2,5 @@
1		-
2	2	**1) Запуск на windows**
	2	+
3	3	Простой запуст на Windows:
4	4	1) Раскоменнтировать и изменить строки в файле:
5	5	kafka_2.12-2.4.0\config\server.properties
...	...	@@ -6,20 +6,37 @@
6	6	listeners=PLAINTEXT://127.0.0.1:9092
7	7	advertised.listeners=PLAINTEXT://127.0.0.1:9092
8	8
9		-2) Запустить ZooKeeper
	9	+2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
10	10	kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
11	11
12	12	3) Запустить Kafka
13	13	kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
14	14
	15	+__У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
	16	+Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
	17	+Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
	18	+Drive:\tmp\kafka-logs
	19	+Drive:\tmp\zookeeper
15	15
	21	+Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
	22	+kafka_2.12-2.4.0\bin\windows
	23	+
	24	+----
	25	+
16	16	2) ** VBox. Bitnami Kafka machine**
	27	+
17	17	https://bitnami.com/stack/kafka/virtual-machine
18	18	https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
19	19
	31	+Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
	32	+Username: bitnami
	33	+Password: bitnami
	34	+В Kafka по умолчанию включена авторизация.
	35	+
20	20	1) Скачать образ и импортировать его в Vbox
21	21
22	22	2) Для доступа извне открыть порты:
	39	+sudo ufw allow 9092
23	23
24	24	3) Взять кредлы из конфига
25	25
...	...	@@ -27,3 +27,29 @@
27	27	/opt/bitnami/kafka/config
28	28	server.properties - общие настройки kafka
29	29	kafka_jaas.conf - данные для авторизации
	47	+
	48	+{{code language="c#"}}
	49	+ //Примеры конфига для Confluent.Kafka
	50	+ new AdminClientConfig
	51	+ {
	52	+ BootstrapServers = "127.0.0.1:9092",
	53	+
	54	+ SaslMechanism = SaslMechanism.Plain,
	55	+ SecurityProtocol = SecurityProtocol.SaslPlaintext,
	56	+ SaslUsername = <UserFromConfig>,
	57	+ SaslPassword = <PasswordFromConfig>
	58	+ }
	59	+{{/code}}
	60	+
	61	+----
	62	+
	63	+3) ** Docker-Compose**
	64	+
	65	+Guide to Setting Up Apache Kafka Using Docker
	66	+https://www.baeldung.com/ops/kafka-docker-setup
	67	+
	68	+----
	69	+
	70	+4) **Другое**
	71	+
	72	+https://github.com/lensesio/fast-data-dev

XWiki.XWikiComments[0]

Автор

...	...	@@ -1,0 +1,1 @@
	1	+XWiki.cccc1808

Комментарий

...	...	@@ -1,0 +1,6 @@
	1	+Дополнение к пункту VBox. Bitnami Kafka machine.
	2	+На VM по умолчанию был включен адаптер в режиме Сетевой мост (т.е. подключение напрямую к роутеру)
	3	+В Confluent.Kafka при попытке авторизации возникала неизвестная ошибка, причем ip адрес, указанный в ней 127.0.0.1, хотя vm имела свой ip и в конфиге подключения был указан именно он.
	4	+
	5	+Решил проблему переключением адаптера на режим NAT с пробросом порта 9092 из VM в основную систему.
	6	+Странно, нет ли у данной библиотеки проблемы с авторизацией на удаленной машине с Kafka.

Дата

...	...	@@ -1,0 +1,1 @@
	1	+2020-08-15 22:16:55.633