Комментарий

• Свойства страницы (2 изменено, 0 добавлено, 0 удалено)
• Объекты (0 изменено, 1 добавлено, 0 удалено)
  • XWiki.XWikiComments[0]

Подробности

Свойства страницы

Родительский документ

...	...	@@ -1,1 +1,1 @@
1		-Разработка.Очереди сообщений.Apache Kafka.WebHome
	1	+Разработка.Брокеры сообщений.Apache Kafka.WebHome

Содержимое

...	...	@@ -1,0 +1,64 @@
	1	+**1) Запуск на windows**
	2	+Простой запуст на Windows:
	3	+1) Раскоменнтировать и изменить строки в файле:
	4	+kafka_2.12-2.4.0\config\server.properties
	5	+listeners=PLAINTEXT://127.0.0.1:9092
	6	+advertised.listeners=PLAINTEXT://127.0.0.1:9092
	7	+
	8	+2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
	9	+kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
	10	+
	11	+3) Запустить Kafka
	12	+kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
	13	+
	14	+__У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
	15	+Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
	16	+Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
	17	+Drive:\tmp\kafka-logs
	18	+Drive:\tmp\zookeeper
	19	+
	20	+Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
	21	+kafka_2.12-2.4.0\bin\windows
	22	+
	23	+
	24	+2) ** VBox. Bitnami Kafka machine**
	25	+https://bitnami.com/stack/kafka/virtual-machine
	26	+https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
	27	+
	28	+Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
	29	+Username: bitnami
	30	+Password: bitnami
	31	+В Kafka по умолчанию включена авторизация.
	32	+
	33	+1) Скачать образ и импортировать его в Vbox
	34	+
	35	+2) Для доступа извне открыть порты:
	36	+sudo ufw allow 9092
	37	+
	38	+3) Взять кредлы из конфига
	39	+
	40	+В виртуальной машине путь к кофигам:
	41	+/opt/bitnami/kafka/config
	42	+server.properties - общие настройки kafka
	43	+kafka_jaas.conf - данные для авторизации
	44	+
	45	+{{code language="c#"}}
	46	+ //Примеры конфига для Confluent.Kafka
	47	+ new AdminClientConfig
	48	+ {
	49	+ BootstrapServers = "127.0.0.1:9092",
	50	+
	51	+ SaslMechanism = SaslMechanism.Plain,
	52	+ SecurityProtocol = SecurityProtocol.SaslPlaintext,
	53	+ SaslUsername = <UserFromConfig>,
	54	+ SaslPassword = <PasswordFromConfig>
	55	+ }
	56	+{{/code}}
	57	+
	58	+
	59	+3) ** Docker-Compose**
	60	+Guide to Setting Up Apache Kafka Using Docker
	61	+https://www.baeldung.com/ops/kafka-docker-setup
	62	+
	63	+4) **Другое**
	64	+https://github.com/lensesio/fast-data-dev

XWiki.XWikiComments[0]

Автор

...	...	@@ -1,0 +1,1 @@
	1	+XWiki.cccc1808

Комментарий

...	...	@@ -1,0 +1,6 @@
	1	+Дополнение к пункту VBox. Bitnami Kafka machine.
	2	+На VM по умолчанию был включен адаптер в режиме Сетевой мост (т.е. подключение напрямую к роутеру)
	3	+В Confluent.Kafka при попытке авторизации возникала неизвестная ошибка, причем ip адрес, указанный в ней 127.0.0.1, хотя vm имела свой ip и в конфиге подключения был указан именно он.
	4	+
	5	+Решил проблему переключением адаптера на режим NAT с пробросом порта 9092 из VM в основную систему.
	6	+Странно, нет ли у данной библиотеки проблемы с авторизацией на удаленной машине с Kafka.

Дата

...	...	@@ -1,0 +1,1 @@
	1	+2020-08-15 22:16:55.633