Перейти к содержимому

Исходный код вики Тест. Параллельный Produce

Версия 4.15 от Alexandr Fokin на 2023/05/10 11:38
Последние авторы
1
2 Цель:
3 1) Проверить поведение KafkaProducer при параллельной записи из нескольких потоков.
4 Является ли ThreadSafe?
5 Не будут не терять сообщения?
6 2) Проверить Эффективность. Имеет ли смысл создавать отдельный KafkaProducer на поток или же лучше справиться Singlethon (один KafkaProducer, разделенный между всеми потоками)
7
8
9
10 Тестирование
11 Кол-во сообщений
12 1000
13
14 Потоки
15 50
16 5
17
18 Результаты:
19
20
21
22 Выводы:
23 1) KafkaProducer хорошо показал себя при параллельной отправке из нескольких потоков.
24 2) Версия Singlethon показала себя немного лучше, чем несколько параллельных KafkaProducer. По данному тестированию нет смысла создавать несколько экземпляров KafkaProducer при параллельной отправке.
25 При этом, создание большого кол-ва KafkaProducer может привезти к очень сильным задержкам в работе программы.
26 Возможно имеет смысл применить концепцию пакетной обработки с накапительным буфером.
27
28
29 Ссылки:
30 https://github.com/confluentinc/confluent-kafka-dotnet/issues/1096
31 https://github.com/edenhill/librdkafka/wiki/FAQ#is-the-library-thread-safe
32 https://github.com/confluentinc/confluent-kafka-dotnet/wiki/Producer
33
34