Перейти к содержимому

Сценарии

Версия 1.4 от Alexandr Fokin на 2025/10/19 14:17
Предупреждение: Из соображений безопасности документ отображается в ограниченном режиме, поскольку это не текущая версия. Из-за этого могут быть расхождения и ошибки.
Пакетная обработка, batching.
 Ручное управление значением offset для consumer позволяет реализовать сценарий группового чтения.
Потребитель в рамках одной итерации извлекает N сообщение, обрабатывает их, после обработки также фиксирует необходимый offset.
Данные может быть более производительным и, например, использовать одну транзакцию для обработки батча записей.
 Пакетную обработку можно реализовать и без продвинутого ручного управления offset. Брокер позволяет вычитывать пакет сообщений и выполнить коммит offset по последнему смещению.
Это позволяет использовать не Db transaction per message, а Db transaction per batch.
Тут могут быть вариации работы с savepoint и обработкой ошибками.
Нужно прорабатывать целостность и обработку ошибок.

В целом чем меньше transaction, savepoint, запросов к БД (чтение, запись) тем выше пропускная спосотбность.
  
  

Внутренние ссылки:

Дочерние страницы:
Обратные ссылки:

Не удалось выполнить макрос [velocity]. Причина: [The execution of the [velocity] script macro is not allowed in [xwiki:Разработка.Брокеры сообщений.Apache Kafka.Сценарии.WebHome]. Check the rights of its last author or the parameters if it's rendered from another script.]. Нажмите на это сообщение для получения подробной информации.