Исходный код вики Apache Kafka. Запуск

Редактировал(а) Alexandr Fokin 2023/12/16 14:11
Последние авторы
1 |1) Запуск на [[Windows>>doc:Хостинг.Операционные системы.Windows.WebHome]]|(((
2 Простой запуст на Windows:
3 1) Раскоменнтировать и изменить строки в файле:
4 kafka_2.12-2.4.0\config\server.properties
5 listeners=PLAINTEXT://127.0.0.1:9092
6 advertised.listeners=PLAINTEXT://127.0.0.1:9092
7
8 2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
9 kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
10
11 3) Запустить Kafka
12 kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
13
14 __У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
15 Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
16 Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
17 Drive:\tmp\kafka-logs
18 Drive:\tmp\zookeeper
19
20 Для взаимодействия с ApacheKafka можно использовать [[Kafka console tool>>doc:Разработка.Брокеры сообщений.Apache Kafka.Kafka console tool.WebHome]].
21 )))
22 |2) [[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]].
23 Bitnami Kafka machine|(((
24 [[(% id="cke_bm_1143S" style="display:none" %) (%%)https:~~/~~/bitnami.com/stack/kafka/virtual-machine>>https://bitnami.com/stack/kafka/virtual-machine]]
25 https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
26
27 Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
28 Username: bitnami
29 Password: bitnami
30 В Kafka по умолчанию включена авторизация.
31
32
33 1) Скачать образ и импортировать его в Vbox
34
35 2) Для доступа извне открыть порты:
36 sudo ufw allow 9092
37
38 3) Взять кредлы из конфига
39
40 В виртуальной машине путь к кофигам:
41 /opt/bitnami/kafka/config
42 server.properties - общие настройки kafka
43 kafka_jaas.conf - данные для авторизации
44
45 {{code language="c#"}}
46 //Примеры конфига для Confluent.Kafka
47 new AdminClientConfig
48 {
49 BootstrapServers = "127.0.0.1:9092",
50
51 SaslMechanism = SaslMechanism.Plain,
52 SecurityProtocol = SecurityProtocol.SaslPlaintext,
53 SaslUsername = <UserFromConfig>,
54 SaslPassword = <PasswordFromConfig>
55 }
56 {{/code}}
57 )))
58 |3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]]|Guide to Setting Up Apache Kafka Using Docker
59 https://www.baeldung.com/ops/kafka-docker-setup
60 |4) **Другое**|https://github.com/lensesio/fast-data-dev