Изменения документа Apache Kafka. Запуск
Редактировал(а) Alexandr Fokin 2023/12/16 14:11
<
>
отредактировано Alexandr Fokin
на 2020/08/15 22:04
на 2020/08/15 22:04
отредактировано Alexandr Fokin
на 2020/08/15 22:16
на 2020/08/15 22:16
Изменить комментарий:
Добавлен комментарий
Комментарий
-
Свойства страницы (1 изменено, 0 добавлено, 0 удалено)
-
Объекты (0 изменено, 1 добавлено, 0 удалено)
Подробности
- Свойства страницы
-
- Содержимое
-
... ... @@ -12,14 +12,29 @@ 12 12 3) Запустить Kafka 13 13 kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties" 14 14 15 +__У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__ 16 +Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka. 17 +Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок: 18 +Drive:\tmp\kafka-logs 19 +Drive:\tmp\zookeeper 15 15 21 +Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке: 22 +kafka_2.12-2.4.0\bin\windows 23 + 24 + 16 16 2) ** VBox. Bitnami Kafka machine** 17 17 https://bitnami.com/stack/kafka/virtual-machine 18 18 https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/ 19 19 29 +Виртуальная машина с развернутыми и запущенными Zookeper и Kafka. 30 +Username: bitnami 31 +Password: bitnami 32 +В Kafka по умолчанию включена авторизация. 33 + 20 20 1) Скачать образ и импортировать его в Vbox 21 21 22 22 2) Для доступа извне открыть порты: 37 +sudo ufw allow 9092 23 23 24 24 3) Взять кредлы из конфига 25 25 ... ... @@ -27,3 +27,17 @@ 27 27 /opt/bitnami/kafka/config 28 28 server.properties - общие настройки kafka 29 29 kafka_jaas.conf - данные для авторизации 45 + 46 +{{code language="c#"}} 47 + //Примеры конфига для Confluent.Kafka 48 + new AdminClientConfig 49 + { 50 + BootstrapServers = "127.0.0.1:9092", 51 + 52 + SaslMechanism = SaslMechanism.Plain, 53 + SecurityProtocol = SecurityProtocol.SaslPlaintext, 54 + SaslUsername = <UserFromConfig>, 55 + SaslPassword = <PasswordFromConfig> 56 + } 57 +{{/code}} 58 +
- XWiki.XWikiComments[0]
-
- Автор
-
... ... @@ -1,0 +1,1 @@ 1 +XWiki.cccc1808 - Комментарий
-
... ... @@ -1,0 +1,6 @@ 1 +Дополнение к пункту VBox. Bitnami Kafka machine. 2 +На VM по умолчанию был включен адаптер в режиме Сетевой мост (т.е. подключение напрямую к роутеру) 3 +В Confluent.Kafka при попытке авторизации возникала неизвестная ошибка. 4 + 5 +Решил проблему переключением адаптера на режим NAT с пробросом порта 9092 из VM в основную систему. 6 +Странно, нет ли у данной библиотеки проблемы с авторизацией на удаленной машине с Kafka. - Дата
-
... ... @@ -1,0 +1,1 @@ 1 +2020-08-15 22:16:55.634