Комментарий

• Свойства страницы (1 изменено, 0 добавлено, 0 удалено)
• Объекты (2 изменено, 0 добавлено, 0 удалено)
  • XWiki.XWikiComments[0]
  • XWiki.XWikiComments[3]

Подробности

Свойства страницы

Содержимое

...	...	@@ -1,17 +1,17 @@
1	1
2	2	https://kafka.apache.org/
3	3
4		-ПО:
5		-**Zookeeper**
	4	+ПО
	5	+Zookeeper
6	6	Zookeeper выполняет роль хранилища метаданных и координатора. Также именно к zookeeper сперва пойдут producer и consumer, чтобы узнать, на каком брокере какие топики и партиции хранятся.
7	7	В более старых версиях Kafka zookeeper отвечал и за хранение оффсетов, но сейчас они хранятся в специальном топике __consumer_offsets на брокере
	8	+Apache Kafka
8	8
9		-**Apache Kafka**
10		-Producer (Отправитель)
11		-Consumer (Получатель)
12		-Topic (Отчасти схож с очередью)
13		-Partition (Topic может содержаться несколько разделов, позволяющих работать параллельно нескольким Consumer)
14		-CosumerGroup (Consumers, находящиеся в разных CosumerGroup, читают данные параллельно и независимо друг от друга. (Получают одни и те же сообщения))
	10	+Producer (Приложение-отправитель)
	11	+Consumer (Приложение-получатель)
	12	+Topic
	13	+Partition
	14	+CosumerGroup
15	15
16	16	Простой запуст на Windows:
17	17	1) Раскоменнтировать и изменить строки в файле:
...	...	@@ -29,17 +29,8 @@
29	29	kafka_2.12-2.4.0\bin\windows\kafka-server-start.bat "kafka_2.12-2.4.0\config\server.properties"
30	30	{{/code}}
31	31
32		-
33		-Для взаимодействия с ApacheKafka можное использовать консоль. Управляющие скрипты распологаются в папке:
34		-kafka_2.12-2.4.0\bin\windows
35		-
36		-
37	37	Статьи:
38	38	https://habr.com/ru/company/avito/blog/465315/
39		-https://ksqldb.io/quickstart.html
40		-https://coderlessons.com/tutorials/bolshie-dannye-i-analitika/vyuchit-apache-kafka/apache-kafka-kratkoe-rukovodstvo
41		-https://habr.com/ru/post/354486/
42		-https://jaceklaskowski.gitbooks.io/apache-kafka/kafka-properties-client-id.html
43	43
44	44	Развертывание:
45	45	[[bitnami.com | kafka (Docker, VM)>>https://bitnami.com/stack/kafka]]
...	...	@@ -51,17 +51,3 @@
51	51	[[confluentinc/confluent-kafka-dotnet>>https://github.com/confluentinc/confluent-kafka-dotnet]]
52	52	[[Jroland/kafka-net>>https://github.com/Jroland/kafka-net]]
53	53
54		-
55		-KafkaConsoleTool:
56		-https://riptutorial.com/apache-kafka/topic/8990/kafka-console-tools
57		-https://medium.com/@TimvanBaarsen/apache-kafka-cli-commands-cheat-sheet-a6f06eac01b
58		-https://howtoprogram.xyz/2016/07/08/apache-kafka-command-line-interface/
59		-https://help.aiven.io/en/articles/2661525-viewing-and-resetting-consumer-group-offsets
60		-
61		-https://stackoverflow.com/questions/32697999/kafka-consumer-list
62		-https://stackoverflow.com/questions/35437681/kafka-get-partition-count-for-a-topic
63		-https://stackoverflow.com/questions/14755030/apache-kafka-consumer-state
64		-https://stackoverflow.com/questions/28156227/kafka-consumer-group-creation-with-specific-offset
65		-
66		-
67		-

XWiki.XWikiComments[0]

Комментарий

...	...	@@ -1,3 +1,3 @@
1		-Простой способ сбросить состояние - удалить содержимое папок:
	1	+Простой способ исправить ошибки на тестовой среде - очистить папку с данными:
2	2	Drive:\tmp\kafka-logs
3	3	Drive:\tmp\zookeeper

XWiki.XWikiComments[3]

Комментарий

...	...	@@ -1,5 +5,3 @@
1		-{{code language="cmd"}}
2		-kafka-console-consumer.bat --bootstrap-server <server> --topic <topic> --from-beginning
3		-kafka-topics.bat --bootstrap-server <server> --list
4		-{{/code}}
5	5
	2	+"kafka-console-consumer.bat --bootstrap-server <server> --topic <topic> --from-beginning"
	3	+"kafka-topics.bat --bootstrap-server <server> --list"