Изменения документа Получение данных о смещении

Сводка

• Свойства страницы (1 изменено, 0 добавлено, 0 удалено)

Подробности

Свойства страницы

Содержимое

...	...	@@ -1,23 +6,22 @@
1		-|Задание:
2		-Получение информации о текущем состоянии параметров:(((
3		-1. Общее кол-во сообщений в topic
4		-1. Общее кол-во прочитанных(commited) сообщений в topic (по определенной consumerGroup)
5		-1. Определение общего значения lag в topic(Разность между общей длиной и кол-во прочитанных сообщений) (по определенной consumerGroup)
6	6
	2	+Задание:
	3	+Получение ифнормации о текущем состоянии параметров:
	4	+1) Общее кол-во сообщений в topic
	5	+2) Общее кол-во прочитанных(commited) сообщений в topic (по определенной consumerGroup)
	6	+3) Определение общего значения lag в topic(Разность между общей длиной и кол-во прочитанных сообщений) (по определенной consumerGroup)
7	7	Опционально по каждому partition.
8		-Данные по topic можно определить по сумме совокупности данных по каждом partition, принадлежащему данному topic.
9		-)))
10		-|(((
11		-Get Consumer lag using LibrdkafkaHandle.OutQueueLength
12		-https://github.com/confluentinc/confluent-kafka-dotnet/issues/1161
	8	+Данные по topic можно определить по сумме совокупности данных по каждом partition, принажлежащему данному topic.
13	13
14		-Aug 2019 - Kafka Consumer Lag programmatically
	10	+https://github.com/confluentinc/confluent-kafka-dotnet/issues/1161
15	15	https://stackoverflow.com/questions/57302244/aug-2019-kafka-consumer-lag-programmatically
16		-)))
17		-|Решение:
	12	+
	13	+
	14	+Решение:
18	18	Данные по общему кол-ву сообщений и прочитанным сообщениям можно получить через Consumer. Причем для указанного partition.
19	19	Данные по topic формируются через сумму данных всех partitions, входящих в него.
20		-|{{code language="c#"}} //номер смещения последнего сообщения в очереди
	17	+
	18	+{{code language="c#"}}
	19	+ //номер смещения последнего сообщения в очереди
21	21	consumer
22	22	.QueryWatermarkOffsets(TopicPartitionInfo(topicName, partitionId),ConnectionParamsEntity.ActionTimeout)
23	23	.High
...	...	@@ -30,4 +30,5 @@
30	30	)
31	31	.FirstOrDefault()
32	32	.Offset
33		- .Value;{{/code}}
	32	+ .Value;
	33	+{{/code}}