Изменения документа Apache Kafka
Редактировал(а) Alexandr Fokin 2024/09/07 11:00
<
>
отредактировано Alexandr Fokin
на 2020/03/05 19:11
на 2020/03/05 19:11
отредактировано Alexandr Fokin
на 2020/06/07 12:09
на 2020/06/07 12:09
Изменить комментарий:
К данной версии нет комментариев
Комментарий
-
Свойства страницы (1 изменено, 0 добавлено, 0 удалено)
-
Объекты (1 изменено, 0 добавлено, 0 удалено)
Подробности
- Свойства страницы
-
- Содержимое
-
... ... @@ -1,17 +1,17 @@ 1 1 2 2 https://kafka.apache.org/ 3 3 4 -ПО 5 -Zookeeper 4 +ПО: 5 +**Zookeeper** 6 6 Zookeeper выполняет роль хранилища метаданных и координатора. Также именно к zookeeper сперва пойдут producer и consumer, чтобы узнать, на каком брокере какие топики и партиции хранятся. 7 7 В более старых версиях Kafka zookeeper отвечал и за хранение оффсетов, но сейчас они хранятся в специальном топике __consumer_offsets на брокере 8 -Apache Kafka 9 9 10 -Producer (Приложение-отправитель) 11 -Consumer (Приложение-получатель) 12 -Topic 13 -Partition 14 -CosumerGroup 9 +**Apache Kafka** 10 +Producer (Отправитель) 11 +Consumer (Получатель) 12 +Topic (Отчасти схож с очередью) 13 +Partition (Topic может содержаться несколько разделов, позволяющих работать параллельно нескольким Consumer) 14 +CosumerGroup (Consumers, находящиеся в разных CosumerGroup, читают данные параллельно и независимо друг от друга. (Получают одни и те же сообщения)) 15 15 16 16 Простой запуст на Windows: 17 17 1) Раскоменнтировать и изменить строки в файле: ... ... @@ -20,15 +20,27 @@ 20 20 advertised.listeners=PLAINTEXT://127.0.0.1:9092 21 21 22 22 2) Запустить ZooKeeper 23 +{{code language="cmd"}} 23 23 kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties" 24 - 25 +{{/code}} 26 + 25 25 3) Запустить Kafka 28 +{{code language="cmd"}} 26 26 kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties" 30 +{{/code}} 27 27 28 28 33 +Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке: 34 +kafka_2.12-2.4.0\bin\windows 35 + 36 + 29 29 Статьи: 30 30 https://habr.com/ru/company/avito/blog/465315/ 39 +https://ksqldb.io/quickstart.html 40 +https://coderlessons.com/tutorials/bolshie-dannye-i-analitika/vyuchit-apache-kafka/apache-kafka-kratkoe-rukovodstvo 41 +https://habr.com/ru/post/354486/ 31 31 43 + 32 32 Развертывание: 33 33 [[bitnami.com | kafka (Docker, VM)>>https://bitnami.com/stack/kafka]] 34 34 https://github.com/wurstmeister/kafka-docker
- XWiki.XWikiComments[3]
-
- Комментарий
-
... ... @@ -1,3 +1,5 @@ 1 +{{code language="cmd"}} 2 +kafka-console-consumer.bat --bootstrap-server <server> --topic <topic> --from-beginning 3 +kafka-topics.bat --bootstrap-server <server> --list 4 +{{/code}} 1 1 2 -"kafka-console-consumer.bat --bootstrap-server <server> --topic <topic> --from-beginning" 3 -"kafka-topics.bat --bootstrap-server <server> --list"