Изменения документа Apache Kafka

Редактировал(а) Alexandr Fokin 2024/09/07 11:00
<
От версии < 6.6 >
отредактировано Alexandr Fokin
на 2020/03/03 20:29
К версии < 34.1 >
отредактировано Alexandr Fokin
на 2023/12/16 14:00
>
Изменить комментарий: Renamed back-links.

Комментарий

Подробности

Свойства страницы
Родительский документ
... ... @@ -1,1 +1,1 @@
1 -Разработка.Очереди сообщений.WebHome
1 +Разработка.Брокеры сообщений.WebHome
Теги
... ... @@ -1,1 +1,1 @@
1 -Apache|Kafka
1 +Apache|БрокерСообщений|ApacheKafka
Содержимое
... ... @@ -1,41 +1,67 @@
1 +Разработан на языке [[Java>>Разработка.JVM.Java.WebHome]]
1 1  
2 -https://kafka.apache.org/
3 +----
3 3  
4 -ПО
5 -Zookeeper
5 +**Используемое ПО:**
6 +
7 +**[[Apache ZooKeeper>>Разработка.Базы данных 2.NoSQL.Ключ-значение структура.Apache ZooKeeper.WebHome]]**
8 +
9 +Ранее требовался для запуска.
6 6  Zookeeper выполняет роль хранилища метаданных и координатора. Также именно к zookeeper сперва пойдут producer и consumer, чтобы узнать, на каком брокере какие топики и партиции хранятся.
7 -В более старых версиях Kafka zookeeper отвечал и за хранение оффсетов, но сейчас они хранятся в специальном топике __consumer_offsets на брокере
11 +В более старых версиях Kafka zookeeper отвечал и за хранение офсетов, но сейчас они хранятся в специальном топике __consumer_offsets на брокере__
12 +
13 +----
14 +
15 +**Материалы:**
16 +
8 8  Apache Kafka
18 +https://kafka.apache.org/
9 9  
10 -Producer (Приложение-отправитель)
11 -Consumer (Приложение-получатель)
12 -Topic
13 -Partition
14 -CosumerGroup
20 +Книга
21 +[[Understanding Message Brokers | O’Reilly>>doc:Книги.O’Reilly.Understanding Message Brokers | O’Reilly.WebHome]]
15 15  
16 -Простой запуст на Windows:
17 -1) Раскоменнтировать и изменить строки в файле:
18 -kafka_2.12-2.4.0\config\server.properties
19 -listeners=PLAINTEXT://127.0.0.1:9092
20 -advertised.listeners=PLAINTEXT://127.0.0.1:9092
23 +Kafka и микросервисы: обзор
24 +https://habr.com/ru/company/avito/blog/465315/
21 21  
22 -2) Запустить ZooKeeper
23 -kafka_2.12-2.4.0\bin\windows\zookeeper-server-start.bat "kafka_2.12-2.4.0\config\zookeeper.properties"
26 +Apache Kafka — Краткое руководство
27 +https://coderlessons.com/tutorials/bolshie-dannye-i-analitika/vyuchit-apache-kafka/apache-kafka-kratkoe-rukovodstvo
24 24  
25 -3) Запустить Kafka
26 -kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
29 +Apache Kafka – Конспект
30 +https://habr.com/ru/post/354486/
27 27  
32 +client.id Property
33 +https://jaceklaskowski.gitbooks.io/apache-kafka/kafka-properties-client-id.html
28 28  
29 -Статьи:
30 -https://habr.com/ru/company/avito/blog/465315/
35 +Kafka Tool / Offset Explorer
36 +Декстоп клиент для работы к Kafka. (Есть функционал просмотра содержимого топиков и отправки сообщений)
37 +https://kafkatool.com/
31 31  
32 -Развертывание:
33 -[[bitnami.com | kafka (Docker, VM)>>https://bitnami.com/stack/kafka]]
34 -https://github.com/wurstmeister/kafka-docker
35 -https://github.com/lensesio/fast-data-dev
39 +Apache Kafka Use Cases (with Kafka Architecture Diagrams)
40 +https://medium.com/softkraft/apache-kafka-use-cases-with-kafka-architecture-diagrams-577be32688e5
36 36  
42 +Understanding Kafka partition assignment strategies and how to write your own custom assignor
43 +https://medium.com/streamthoughts/understanding-kafka-partition-assignment-strategies-and-how-to-write-your-own-custom-assignor-ebeda1fc06f3
37 37  
38 -Клиенты:
39 -[[confluentinc/confluent-kafka-dotnet>>https://github.com/confluentinc/confluent-kafka-dotnet]]
40 -[[Jroland/kafka-net>>https://github.com/Jroland/kafka-net]]
45 +----
41 41  
47 +==== Внутренние ссылки: ====
48 +
49 +====== Дочерние страницы: ======
50 +
51 +{{children/}}
52 +
53 +====== Обратные ссылки: ======
54 +
55 +{{velocity}}
56 +#set ($links = $doc.getBacklinks())
57 +#if ($links.size() > 0)
58 + #foreach ($docname in $links)
59 + #set ($rdoc = $xwiki.getDocument($docname).getTranslatedDocument())
60 + * [[$escapetool.xml($rdoc.fullName)]]
61 + #end
62 +#else
63 + No back links for this page!
64 +#end
65 +{{/velocity}}
66 +
67 +----
XWiki.XWikiComments[0]
Автор
... ... @@ -1,1 +1,0 @@
1 -XWiki.cccc1808
Комментарий
... ... @@ -1,3 +1,0 @@
1 -Простой способ исправить ошибки на тестовой среде - очистить папку с данными:
2 -Drive:\tmp\kafka-logs
3 -Drive:\tmp\zookeeper
Дата
... ... @@ -1,1 +1,0 @@
1 -2020-02-17 18:32:54.563
XWiki.XWikiComments[1]
Автор
... ... @@ -1,1 +1,0 @@
1 -XWiki.cccc1808
Комментарий
... ... @@ -1,1 +1,0 @@
1 -Если запросить группу сообщений и выполнить коммит последнего, то смещение установиться на позиции последнего элемента +1.
Дата
... ... @@ -1,1 +1,0 @@
1 -2020-02-17 18:44:48.607
XWiki.XWikiComments[2]
Автор
... ... @@ -1,1 +1,0 @@
1 -XWiki.cccc1808
Комментарий
... ... @@ -1,3 +1,0 @@
1 -При первом подключении Consumer по умолчанию подсоединиться к концу топика (параметр AutoOffsetReset)
2 -и не прочитает сообщения, уже имеющиеся в топике.
3 -
Дата
... ... @@ -1,1 +1,0 @@
1 -2020-03-03 20:29:19.402