Исходный код вики Apache Kafka. Запуск

Редактировал(а) Alexandr Fokin 2023/12/16 14:11

Скрыть последних авторов
Alexandr Fokin 8.6 1 |1) Запуск на [[Windows>>doc:Хостинг.Операционные системы.Windows.WebHome]]|(((
Alexandr Fokin 2.1 2 Простой запуст на Windows:
3 1) Раскоменнтировать и изменить строки в файле:
4 kafka_2.12-2.4.0\config\server.properties
5 listeners=PLAINTEXT://127.0.0.1:9092
6 advertised.listeners=PLAINTEXT://127.0.0.1:9092
7
Alexandr Fokin 10.1 8 2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
Alexandr Fokin 2.1 9 kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
10
11 3) Запустить Kafka
12 kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
13
Alexandr Fokin 3.1 14 __У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
15 Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
16 Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
17 Drive:\tmp\kafka-logs
18 Drive:\tmp\zookeeper
Alexandr Fokin 2.1 19
Alexandr Fokin 8.7 20 Для взаимодействия с ApacheKafka можно использовать [[Kafka console tool>>doc:Разработка.Брокеры сообщений.Apache Kafka.Kafka console tool.WebHome]].
Alexandr Fokin 8.6 21 )))
22 |2) [[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]].
23 Bitnami Kafka machine|(((
24 [[(% id="cke_bm_1143S" style="display:none" %) (%%)https:~~/~~/bitnami.com/stack/kafka/virtual-machine>>https://bitnami.com/stack/kafka/virtual-machine]]
Alexandr Fokin 2.1 25 https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
26
Alexandr Fokin 10.1 27 Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
Alexandr Fokin 3.1 28 Username: bitnami
29 Password: bitnami
30 В Kafka по умолчанию включена авторизация.
31
Alexandr Fokin 8.6 32
Alexandr Fokin 2.1 33 1) Скачать образ и импортировать его в Vbox
34
35 2) Для доступа извне открыть порты:
Alexandr Fokin 3.1 36 sudo ufw allow 9092
Alexandr Fokin 2.1 37
38 3) Взять кредлы из конфига
39
40 В виртуальной машине путь к кофигам:
41 /opt/bitnami/kafka/config
42 server.properties - общие настройки kafka
43 kafka_jaas.conf - данные для авторизации
Alexandr Fokin 4.1 44
45 {{code language="c#"}}
46 //Примеры конфига для Confluent.Kafka
47 new AdminClientConfig
48 {
49 BootstrapServers = "127.0.0.1:9092",
50
51 SaslMechanism = SaslMechanism.Plain,
52 SecurityProtocol = SecurityProtocol.SaslPlaintext,
53 SaslUsername = <UserFromConfig>,
54 SaslPassword = <PasswordFromConfig>
55 }
56 {{/code}}
Alexandr Fokin 8.6 57 )))
58 |3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]]|Guide to Setting Up Apache Kafka Using Docker
Alexandr Fokin 5.1 59 https://www.baeldung.com/ops/kafka-docker-setup
Alexandr Fokin 8.6 60 |4) **Другое**|https://github.com/lensesio/fast-data-dev