Исходный код вики Apache Kafka. Запуск
Версия 8.5 от Alexandr Fokin на 2022/12/17 11:52
Скрыть последних авторов
author | version | line-number | content |
---|---|---|---|
![]() |
2.1 | 1 | **1) Запуск на windows** |
![]() |
8.2 | 2 | |
![]() |
2.1 | 3 | Простой запуст на Windows: |
4 | 1) Раскоменнтировать и изменить строки в файле: | ||
5 | kafka_2.12-2.4.0\config\server.properties | ||
6 | listeners=PLAINTEXT://127.0.0.1:9092 | ||
7 | advertised.listeners=PLAINTEXT://127.0.0.1:9092 | ||
8 | |||
![]() |
8.1 | 9 | 2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] |
![]() |
2.1 | 10 | kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties" |
11 | |||
12 | 3) Запустить Kafka | ||
13 | kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties" | ||
14 | |||
![]() |
3.1 | 15 | __У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__ |
16 | Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka. | ||
17 | Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок: | ||
18 | Drive:\tmp\kafka-logs | ||
19 | Drive:\tmp\zookeeper | ||
![]() |
2.1 | 20 | |
![]() |
3.1 | 21 | Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке: |
22 | kafka_2.12-2.4.0\bin\windows | ||
23 | |||
![]() |
8.2 | 24 | ---- |
![]() |
3.1 | 25 | |
![]() |
8.4 | 26 | 2) **[[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]]. Bitnami Kafka machine** |
![]() |
8.2 | 27 | |
![]() |
2.1 | 28 | https://bitnami.com/stack/kafka/virtual-machine |
29 | https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/ | ||
30 | |||
![]() |
8.1 | 31 | Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka. |
![]() |
3.1 | 32 | Username: bitnami |
33 | Password: bitnami | ||
34 | В Kafka по умолчанию включена авторизация. | ||
35 | |||
![]() |
2.1 | 36 | 1) Скачать образ и импортировать его в Vbox |
37 | |||
38 | 2) Для доступа извне открыть порты: | ||
![]() |
3.1 | 39 | sudo ufw allow 9092 |
![]() |
2.1 | 40 | |
41 | 3) Взять кредлы из конфига | ||
42 | |||
43 | В виртуальной машине путь к кофигам: | ||
44 | /opt/bitnami/kafka/config | ||
45 | server.properties - общие настройки kafka | ||
46 | kafka_jaas.conf - данные для авторизации | ||
![]() |
4.1 | 47 | |
48 | {{code language="c#"}} | ||
49 | //Примеры конфига для Confluent.Kafka | ||
50 | new AdminClientConfig | ||
51 | { | ||
52 | BootstrapServers = "127.0.0.1:9092", | ||
53 | |||
54 | SaslMechanism = SaslMechanism.Plain, | ||
55 | SecurityProtocol = SecurityProtocol.SaslPlaintext, | ||
56 | SaslUsername = <UserFromConfig>, | ||
57 | SaslPassword = <PasswordFromConfig> | ||
58 | } | ||
59 | {{/code}} | ||
60 | |||
![]() |
8.2 | 61 | ---- |
![]() |
5.1 | 62 | |
![]() |
8.3 | 63 | 3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]] |
![]() |
8.2 | 64 | |
![]() |
5.1 | 65 | Guide to Setting Up Apache Kafka Using Docker |
66 | https://www.baeldung.com/ops/kafka-docker-setup | ||
67 | |||
![]() |
8.2 | 68 | ---- |
69 | |||
![]() |
6.1 | 70 | 4) **Другое** |
![]() |
8.2 | 71 | |
![]() |
6.1 | 72 | https://github.com/lensesio/fast-data-dev |