Исходный код вики Apache Kafka. Запуск

Версия 8.6 от Alexandr Fokin на 2023/01/28 21:23
Последние авторы
1 |1) Запуск на [[Windows>>doc:Хостинг.Операционные системы.Windows.WebHome]]|(((
2 Простой запуст на Windows:
3 1) Раскоменнтировать и изменить строки в файле:
4 kafka_2.12-2.4.0\config\server.properties
5 listeners=PLAINTEXT://127.0.0.1:9092
6 advertised.listeners=PLAINTEXT://127.0.0.1:9092
7
8 2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]
9 kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
10
11 3) Запустить Kafka
12 kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
13
14 __У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__
15 Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka.
16 Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
17 Drive:\tmp\kafka-logs
18 Drive:\tmp\zookeeper
19
20 Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
21 kafka_2.12-2.4.0\bin\windows
22 )))
23 |2) [[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]].
24 Bitnami Kafka machine|(((
25 [[(% id="cke_bm_1143S" style="display:none" %) (%%)https:~~/~~/bitnami.com/stack/kafka/virtual-machine>>https://bitnami.com/stack/kafka/virtual-machine]]
26 https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/
27
28 Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka.
29 Username: bitnami
30 Password: bitnami
31 В Kafka по умолчанию включена авторизация.
32
33
34 1) Скачать образ и импортировать его в Vbox
35
36 2) Для доступа извне открыть порты:
37 sudo ufw allow 9092
38
39 3) Взять кредлы из конфига
40
41 В виртуальной машине путь к кофигам:
42 /opt/bitnami/kafka/config
43 server.properties - общие настройки kafka
44 kafka_jaas.conf - данные для авторизации
45
46 {{code language="c#"}}
47 //Примеры конфига для Confluent.Kafka
48 new AdminClientConfig
49 {
50 BootstrapServers = "127.0.0.1:9092",
51
52 SaslMechanism = SaslMechanism.Plain,
53 SecurityProtocol = SecurityProtocol.SaslPlaintext,
54 SaslUsername = <UserFromConfig>,
55 SaslPassword = <PasswordFromConfig>
56 }
57 {{/code}}
58 )))
59 |3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]]|Guide to Setting Up Apache Kafka Using Docker
60 https://www.baeldung.com/ops/kafka-docker-setup
61 |4) **Другое**|https://github.com/lensesio/fast-data-dev