Комментарий к Apache Kafka

Версия 13.1 от Alexandr Fokin на 2020/07/02 20:24

  • Alexandr Fokin
    Alexandr Fokin 2020/02/17 22:32

    Простой способ сбросить состояние тестового локального инстанса - удалить содержимое папок:
    Drive:\tmp\kafka-logs
    Drive:\tmp\zookeeper

  • Alexandr Fokin
    Alexandr Fokin 2020/02/17 22:44

    Если запросить группу сообщений и выполнить коммит последнего, то смещение установиться на позиции последнего элемента +1.
    Нет возможности закоммитить только определенное [i] сообщение.

  • Alexandr Fokin
    Alexandr Fokin 2020/03/04 00:29

    При первом подключении Consumer по умолчанию подсоединиться к концу топика
    и не прочитает сообщения, уже имеющиеся в топике.
    (параметр AutoOffsetReset)

  • Alexandr Fokin
    Alexandr Fokin 2020/03/05 23:11
    Список топиков
    kafka-topics.bat --bootstrap-server <server> --list

    Консольный consumer
    kafka-console-consumer.bat --bootstrap-server <server> --topic <topic> --from-beginning

    Данные по ConsumerGroup(текущее смещение)
    kafka-consumer-groups.bat --describe --group <ConsumerGroupId> --bootstrap-server <server>

    Удалить ConsumerGroup(смещения по группе)
    kafka-consumer-groups.bat --bootstrap-server <server> --delete --group <ConsumerGroupId>
  • Alexandr Fokin
    Alexandr Fokin 2020/06/30 14:02

    Вариант использования.
    В очереди скопилось много сообщений, которые можно пропустить. Необходимо начать читать свежие сообщения.

    1) Удалить ConsumerGroup.
    2) Подключить Consumer с заданным параметром AutoOffsetReset. (значение параметра - задать смещение с конца)