Если запросить группу сообщений и выполнить коммит последнего, то смещение установиться на позиции последнего элемента +1. Нет возможности закоммитить только определенное [i] сообщение.
Некоторые другие брокеры устроены иначе: они работают с отдельными сообщениями и позволяют подтверждать их потребление независимо. В Kafke же единственным критерием является Offset.
Опциально можно реализовать собственную логику работы с сообщениями, в том числе не возлагая на броке обязанности контролировать смещение, а управляя чтением самостоятельно. Обычно в Kafka не предполагается, что сообщение будет удалено сразу, и к нему можно обращаются по его значению Offset.
При первом подключении Consumer по умолчанию подсоединиться к концу топика и не прочитает сообщения, уже имеющиеся в топике. (параметр AutoOffsetReset)
Если запросить группу сообщений и выполнить коммит последнего, то смещение установиться на позиции последнего элемента +1.
Нет возможности закоммитить только определенное [i] сообщение.
Некоторые другие брокеры устроены иначе: они работают с отдельными сообщениями и позволяют подтверждать их потребление независимо. В Kafke же единственным критерием является Offset.
Опциально можно реализовать собственную логику работы с сообщениями, в том числе не возлагая на броке обязанности контролировать смещение, а управляя чтением самостоятельно.
Обычно в Kafka не предполагается, что сообщение будет удалено сразу, и к нему можно обращаются по его значению Offset.
При первом подключении Consumer по умолчанию подсоединиться к концу топика
и не прочитает сообщения, уже имеющиеся в топике.
(параметр AutoOffsetReset)
Что такое гарантия доставки сообщений или как избавиться от дублей и потерь в Apache Kafka и других Big Data брокерах
https://www.bigdataschool.ru/blog/kafka-exactly-once.html
Как ускорить работу producer’ов Kafka: параметры конфигурации производителей
https://www.bigdataschool.ru/blog/kafka-producers-configuration.html
Почему ваша Kafka такая медленная и как ее ускорить: 7 главных факторов производительности этой Big Data системы
https://www.bigdataschool.ru/blog/kafka-performance-factors.html
Изменение параметра максимального размера сообщения:
Kafka - Broker: Message size too large
https://stackoverflow.com/questions/59322133/kafka-broker-message-size-too-large
Increase message.max.bytes
https://github.com/bitnami/bitnami-docker-kafka/issues/13