Изменения документа Задачи. Распределение, резервирование, очередь.
Редактировал(а) Alexandr Fokin 2026/08/20 12:16
От версии 1.8
отредактировано Alexandr Fokin
на 2026/08/20 11:47
на 2026/08/20 11:47
Изменить комментарий:
К данной версии нет комментариев
К версии 1.7
отредактировано Alexandr Fokin
на 2026/08/18 15:19
на 2026/08/18 15:19
Изменить комментарий:
К данной версии нет комментариев
Сводка
-
Свойства страницы (1 изменено, 0 добавлено, 0 удалено)
Подробности
- Свойства страницы
-
- Содержимое
-
... ... @@ -29,7 +29,7 @@ 29 29 * Все временные данные расположены в оперативной памяти. 30 30 Нет записи на диск. Их потеря не критична, она приведет к временной задержке, но система продолжит работу. 31 31 * При выборке из БД достаточно только чтения. Не требуется ни транзакция, ни блокировка, ни запись. 32 -* Ми нимальнаязадержка доначала выполнения(Если обработчик публикует сразу в Queue (наличие такой возможности)).32 +* Максимально быстрое попадание в Executor (Если обработчик публикует сразу в Queue (наличие такой возможности)). 33 33 * Возможность реализации разделения по типам процессов (нода обрабатывает только определенные типы и конфигурацию можно менять в любой момент). 34 34 * Возможность разделения на Single и Range процессы и реализация различного потребления из очереди (когда мы хотим обработать в одной транзакции 1 или N процессов). 35 35 ))) ... ... @@ -45,55 +45,5 @@ 45 45 * Решения на основе брокеров сообщений не очень подходят для распределения по типам. Время обработки сообщения у consumer брокера не должно быть большим (У Redis нет такой проблемы). 46 46 ))) 47 47 ))) 48 -|(% style="width:157px" %)Резервирование в БД|(% style="width:1277px" %)((( 49 -|(% style="width:29px" %)1|(% style="width:1272px" %)((( 50 -|(% style="width:67px" %) |(% style="width:1187px" %)Одна транзакция с блокировкой. 51 -|(% style="width:67px" %)Плюсы|(% style="width:1187px" %)((( 52 -* Сравнительно просто. 53 -* Нет записи на диск. 54 -Но используется память БД для хранения блокировок. 55 -))) 56 -|(% style="width:67px" %)Минусы|(% style="width:1187px" %)((( 57 -* Не подходит под все кейсы. 58 -** Если мы хотим запустить задачи параллельно: 59 -Нужно использовать AdvisoryLock (а не блокировку БД) (только Postgres), иначе транзакция блокировки не сможет записать строку. 60 -Необходимо удерживать select транзакцию и AdvisoryLock на протяжении всего времени обработки батча (возможно долгая транзакция на чтение). 61 -* Не использует индекс, необходимо проверять блокировку по все строкам. 62 -))) 63 -))) 64 -|(% style="width:29px" %)2|(% style="width:1272px" %)((( 65 -|(% style="width:68px" %) |(% style="width:1185px" %)Поле ReserveDate. 66 -|(% style="width:68px" %)Плюсы|(% style="width:1185px" %)((( 67 -* При выборе задач на обработку используется индекс (эффективно). 68 -))) 69 -|(% style="width:68px" %)Минусы|(% style="width:1185px" %)((( 70 -* Нагрузка - запись на диск для выставления пометки резервирования. 71 -))) 72 -))) 73 -|(% style="width:29px" %)3|(% style="width:1272px" %)((( 74 -|(% style="width:75px" %) |(% style="width:1179px" %)InMemory (возможно unlogged) таблица в реляционной БД. 75 -|(% style="width:75px" %)Плюсы|(% style="width:1179px" %)((( 76 -* Запись о резервирование не нагружает диск. 77 -* Наличие полной транзакционности. 78 -))) 79 -|(% style="width:75px" %)Минусы|(% style="width:1179px" %)((( 80 -* Необходим join с основной таблицей. 81 -* Функция InMemory таблиц не является стандартной, не везде поддерживается. 82 -))) 83 -))) 84 -))) 85 -|(% style="width:157px" %)Очередь распределения на основе брокера сообщений.|(% style="width:1277px" %)((( 86 -|(% style="width:78px" %)Минусы|(% style="width:1222px" %)((( 87 -* Переподключения и накладные расходы. 88 -* Ограниченное время на обработку сообщения (timeout). Может не подходить для долгой обработки. 89 -* Нет возможности гибко распределять потребление задач по типам (можно делать в Redis) (гибкая конфигурация нод и обрабатываемых ими типов процессов). 90 -* (Менее критично) Отсутствие резервирования, дублирования в очереди, нет гарантий уникальности (у Redis такая возможность есть). 91 -Или резервирование в БД (лишняя нагрузка на запись). 92 -* Распределение нагрузки. Kafka. Параллелизм только на уровне набора партиций. При перегрузке партиции необходимость увеличение количетсва. 93 -))) 94 -|(% style="width:78px" %)Плюсы|(% style="width:1222px" %)((( 95 -* (Не точно) Предположительно производительность выше чем у Redis при обработке мелких задач. Но обработка это все равное транзакция БД (не быстрее нее). 96 -))) 97 -))) 98 98 99 99