• Alexandr Fokin
    Alexandr Fokin, 2022/10/28 15:25

    Если запросить группу сообщений и выполнить коммит последнего, то смещение установиться на позиции последнего элемента +1.
    Нет возможности закоммитить только определенное [i] сообщение.

    Некоторые другие брокеры устроены иначе: они работают с отдельными сообщениями и позволяют подтверждать их потребление независимо. В Kafke же единственным критерием является Offset.

    Опциально можно реализовать собственную логику работы с сообщениями, в том числе не возлагая на броке обязанности контролировать смещение, а управляя чтением самостоятельно.
    Обычно в Kafka не предполагается, что сообщение будет удалено сразу, и к нему можно обращаются по его значению Offset.

  • Alexandr Fokin
    Alexandr Fokin, 2022/10/28 15:25

    При первом подключении Consumer по умолчанию подсоединиться к концу топика
    и не прочитает сообщения, уже имеющиеся в топике.
    (параметр AutoOffsetReset)

  • Alexandr Fokin
    Alexandr Fokin, 2022/10/28 15:25

    Что такое гарантия доставки сообщений или как избавиться от дублей и потерь в Apache Kafka и других Big Data брокерах
    https://www.bigdataschool.ru/blog/kafka-exactly-once.html

    Как ускорить работу producer’ов Kafka: параметры конфигурации производителей
    https://www.bigdataschool.ru/blog/kafka-producers-configuration.html

    Почему ваша Kafka такая медленная и как ее ускорить: 7 главных факторов производительности этой Big Data системы
    https://www.bigdataschool.ru/blog/kafka-performance-factors.html

  • Alexandr Fokin
    Alexandr Fokin, 2022/10/28 15:26

    Изменение параметра максимального размера сообщения:

    Kafka - Broker: Message size too large
    https://stackoverflow.com/questions/59322133/kafka-broker-message-size-too-large

    Increase message.max.bytes
    https://github.com/bitnami/bitnami-docker-kafka/issues/13