Изменения документа Apache Kafka

Редактировал(а) Alexandr Fokin 2024/09/07 11:00

<
От версии < 19.1 >
отредактировано Alexandr Fokin
на 2021/08/23 13:55
К версии < 17.9 >
отредактировано Alexandr Fokin
на 2021/08/18 20:59
>
Изменить комментарий: Добавлен комментарий

Комментарий

Подробности

Свойства страницы
Содержимое
... ... @@ -7,43 +7,25 @@
7 7  В более старых версиях Kafka zookeeper отвечал и за хранение оффсетов, но сейчас они хранятся в специальном топике __consumer_offsets на брокере
8 8  
9 9  **Apache Kafka**
10 +Producer (Отправитель)
11 +Consumer (Получатель)
12 +Topic (Отчасти схож с очередью)
13 +Partition (Topic может содержаться несколько разделов, позволяющих работать параллельно нескольким Consumer) (Данные находящиеся в разных partition одного topic не дублируют друг друга)
14 +CosumerGroup (Consumers, находящиеся в разных CosumerGroup, читают данные параллельно и независимо друг от друга. (Получают одни и те же сообщения)) (В рамках одной ConsumerGroup кол-во активных Consumer не может быть больще чем кол-во partitions. Неактивные Consumer могут быть резервными и автоматически будут подключены, если активный Consumer выйдет из строя)
10 10  
11 -* Producer (Отправитель)
12 -* Consumer (Получатель)
13 -* Topic (Отчасти схож с очередью)
14 -* Partition (Topic может содержаться несколько разделов, позволяющих работать параллельно нескольким Consumer) (Данные находящиеся в разных partition одного topic не дублируют друг друга)
15 -* CosumerGroup (Consumers, находящиеся в разных CosumerGroup, читают данные параллельно и независимо друг от друга. (Получают одни и те же сообщения)) (В рамках одной ConsumerGroup кол-во активных Consumer не может быть больще чем кол-во partitions. Неактивные Consumer могут быть резервными и автоматически будут подключены, если активный Consumer выйдет из строя)
16 -
17 -
18 -**Статьи:**
19 -
20 -Kafka и микросервисы: обзор
16 +Статьи:
21 21  https://habr.com/ru/company/avito/blog/465315/
22 -
23 -ksqlDB Quickstart
24 24  https://ksqldb.io/quickstart.html
25 -
26 -Apache Kafka — Краткое руководство
27 27  https://coderlessons.com/tutorials/bolshie-dannye-i-analitika/vyuchit-apache-kafka/apache-kafka-kratkoe-rukovodstvo
28 -
29 -Apache Kafka – мой конспект
30 30  https://habr.com/ru/post/354486/
31 -
32 -client.id Property
33 33  https://jaceklaskowski.gitbooks.io/apache-kafka/kafka-properties-client-id.html
34 34  
35 -Offset Explorer
36 -Декстоп клиент для работы к Kafka. (Есть функционал просмотра содержимого топиков и отправки сообщений)
37 -https://kafkatool.com/
38 -
39 -
40 -**Развертывание:**
23 +Развертывание:
41 41  [[bitnami.com | kafka (Docker, VM)>>https://bitnami.com/stack/kafka]]
42 42  https://github.com/wurstmeister/kafka-docker
43 43  https://github.com/lensesio/fast-data-dev
44 44  
45 -
46 -**Клиенты:**
28 +Клиенты:
47 47  [[confluentinc/confluent-kafka-dotnet>>https://github.com/confluentinc/confluent-kafka-dotnet]]
48 48  
49 49  Understanding Kafka partition assignment strategies and how to write your own custom assignor