Исходный код вики Apache Kafka. Запуск
Версия 8.6 от Alexandr Fokin на 2023/01/28 21:23
Скрыть последних авторов
| author | version | line-number | content |
|---|---|---|---|
 |
8.6 | 1 | |1) Запуск на [[Windows>>doc:Хостинг.Операционные системы.Windows.WebHome]]|((( |
| |
2.1 | 2 | Простой запуст на Windows: |
| 3 | 1) Раскоменнтировать и изменить строки в файле: | ||
| 4 | kafka_2.12-2.4.0\config\server.properties | ||
| 5 | listeners=PLAINTEXT://127.0.0.1:9092 | ||
| 6 | advertised.listeners=PLAINTEXT://127.0.0.1:9092 | ||
| 7 | |||
| |
8.1 | 8 | 2) Запустить [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] |
| |
2.1 | 9 | kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties" |
| 10 | |||
| 11 | 3) Запустить Kafka | ||
| 12 | kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties" | ||
| 13 | |||
| |
3.1 | 14 | __У данного метода есть весомый недостаток: нестабильная работа и подение системы при некоторых действиях__ |
| 15 | Например ошибка возникала при удалении топиков. Послее ошибки сервер Kafka не запускается и приходиться очищать папки, указанные ниже, соотвественно перезапуская Zookeper и Kafka. | ||
| 16 | Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок: | ||
| 17 | Drive:\tmp\kafka-logs | ||
| 18 | Drive:\tmp\zookeeper | ||
| |
2.1 | 19 | |
| |
3.1 | 20 | Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке: |
| 21 | kafka_2.12-2.4.0\bin\windows | ||
| |
8.6 | 22 | ))) |
| 23 | |2) [[ VirtualBox>>doc:Хостинг.Виртуализация.VirtualBox.WebHome]]. | ||
| 24 | Bitnami Kafka machine|((( | ||
| 25 | [[(% id="cke_bm_1143S" style="display:none" %) (%%)https:~~/~~/bitnami.com/stack/kafka/virtual-machine>>https://bitnami.com/stack/kafka/virtual-machine]] | ||
| |
2.1 | 26 | https://docs.bitnami.com/virtual-machine/infrastructure/kafka/administration/ |
| 27 | |||
| |
8.1 | 28 | Виртуальная машина с развернутыми и запущенными [[Apache ZooKeeper>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]] и Kafka. |
| |
3.1 | 29 | Username: bitnami |
| 30 | Password: bitnami | ||
| 31 | В Kafka по умолчанию включена авторизация. | ||
| 32 | |||
| |
8.6 | 33 | |
| |
2.1 | 34 | 1) Скачать образ и импортировать его в Vbox |
| 35 | |||
| 36 | 2) Для доступа извне открыть порты: | ||
| |
3.1 | 37 | sudo ufw allow 9092 |
| |
2.1 | 38 | |
| 39 | 3) Взять кредлы из конфига | ||
| 40 | |||
| 41 | В виртуальной машине путь к кофигам: | ||
| 42 | /opt/bitnami/kafka/config | ||
| 43 | server.properties - общие настройки kafka | ||
| 44 | kafka_jaas.conf - данные для авторизации | ||
| |
4.1 | 45 | |
| 46 | {{code language="c#"}} | ||
| 47 | //Примеры конфига для Confluent.Kafka | ||
| 48 | new AdminClientConfig | ||
| 49 | { | ||
| 50 | BootstrapServers = "127.0.0.1:9092", | ||
| 51 | |||
| 52 | SaslMechanism = SaslMechanism.Plain, | ||
| 53 | SecurityProtocol = SecurityProtocol.SaslPlaintext, | ||
| 54 | SaslUsername = <UserFromConfig>, | ||
| 55 | SaslPassword = <PasswordFromConfig> | ||
| 56 | } | ||
| 57 | {{/code}} | ||
| |
8.6 | 58 | ))) |
| 59 | |3) [[** Docker-Compose**>>doc:Хостинг.Виртуализация.Docker.Docker-Compose.WebHome]]|Guide to Setting Up Apache Kafka Using Docker | ||
| |
5.1 | 60 | https://www.baeldung.com/ops/kafka-docker-setup |
| |
8.6 | 61 | |4) **Другое**|https://github.com/lensesio/fast-data-dev |