Исходный код вики Задачи. Распределение, резервирование, очередь.
Версия 1.8 от Alexandr Fokin на 2026/08/20 11:47
Скрыть последних авторов
| author | version | line-number | content |
|---|---|---|---|
 |
1.1 | 1 | |(% style="width:157px" %) |(% style="width:1277px" %)((( |
| 2 | |(% style="width:105px" %) |(% style="width:1138px" %) | ||
| 3 | |(% style="width:105px" %)Распределение|(% style="width:1138px" %) | ||
| 4 | |(% style="width:105px" %)Резервирование|(% style="width:1138px" %)Резервирование помогает отслеживать факт того, что экземпляр назначен на выполнение или выполняется (чтобы не пытаться запустить его на другом исполнителе). | ||
| 5 | Резервирование накладывается с timeout. | ||
| 6 | |(% style="width:105px" %) |(% style="width:1138px" %) | ||
| 7 | ))) | ||
| 8 | |(% style="width:157px" %)Очередь и резервирование на основе [[Redis>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Redis.WebHome]]|(% style="width:1277px" %)((( | ||
| |
1.5 | 9 | |(% style="width:93px" %)Ветка|(% style="width:1151px" %)((( |
| 10 | * --feature/redis_typed_process_queue-- | ||
| 11 | * Решение на основе Redis выделено как основное и включено в master ветку (как наилучшее по производительности, нагрузке, задержкам). | ||
| 12 | * Решение, допускающие запуск без Redis помещено в ветку master2. | ||
| 13 | ))) | ||
| |
1.1 | 14 | |(% style="width:93px" %)Топология|(% style="width:1151px" %)DbSelector -> (Queue with reserve) -> Executor. |
| 15 | ExecutorRunner -> (Queue with reserve) -> Executor. | ||
| 16 | |(% style="width:93px" %)Компоненты|(% style="width:1151px" %)((( | ||
| 17 | |(% style="width:369px" %)В качестве очереди выступает один или группа SortedSet и PubSub channel.|(% style="width:759px" %)((( | ||
| |
1.6 | 18 | * SortedSet - позволяет хранить заявки на обработку (без дублей) и имеет упорядоченность (можно указать критерий, например приоритет / дата создания/ дата последней обработки). |
| |
1.1 | 19 | Использование нескольких SortedSet позволяет выполнить разделение по типу / приоритету процесса, чтобы ноды Executor могли отбирать только указанные для них типы задач. |
| 20 | * PubSub channel - используется для оповещения Executor о том, что в определенную очередь поступило сообщение. Executor может попытаться его считать, при наличии у него свободных слотов на обработку (параллелизм). | ||
| 21 | ))) | ||
| |
1.2 | 22 | |(% style="width:369px" %)В качестве системы резервирования используется HashSet.|(% style="width:759px" %)((( |
| 23 | Позволяет гарантировать уникальность (при резервировании), а также позволяет задействовать ExperationTimeout (автоматическое снятие резервирования, если вдруг нода упада и не смогла снять сама). | ||
| 24 | |||
| 25 | Используется для обработки ситуации, когда задача была взята из очереди в обработку и обрабатывается (в этот промежуток нет смысла помещать в очередь повторно). В конце обработки (при нормальном завершение) резервирование снимается или при падении сработает ExperationTimeout. | ||
| |
1.1 | 26 | ))) |
| |
1.2 | 27 | ))) |
| |
1.1 | 28 | |(% style="width:93px" %)Плюсы|(% style="width:1151px" %)((( |
| 29 | * Все временные данные расположены в оперативной памяти. | ||
| 30 | Нет записи на диск. Их потеря не критична, она приведет к временной задержке, но система продолжит работу. | ||
| 31 | * При выборке из БД достаточно только чтения. Не требуется ни транзакция, ни блокировка, ни запись. | ||
| |
1.8 | 32 | * Минимальная задержка до начала выполнения (Если обработчик публикует сразу в Queue (наличие такой возможности)). |
| |
1.7 | 33 | * Возможность реализации разделения по типам процессов (нода обрабатывает только определенные типы и конфигурацию можно менять в любой момент). |
| |
1.3 | 34 | * Возможность разделения на Single и Range процессы и реализация различного потребления из очереди (когда мы хотим обработать в одной транзакции 1 или N процессов). |
| |
1.1 | 35 | ))) |
| 36 | |(% style="width:93px" %)Минусы|(% style="width:1151px" %)((( | ||
| |
1.3 | 37 | * Для наибольшей производительности необходимо публиковать сообщения в очередь сразу (иначе будет ожидания цикла срабатывания DbSelector). |
| |
1.1 | 38 | * Необходимость контроля потребляемой оперативной памяти. |
| |
1.4 | 39 | * DbSelector при проверке резервирования нагружает сеть (периодический запрос) (но это вроде самое безболезненное из возможных + регулируется timeout). |
| 40 | * Когда в очередь поступает сообщение, то все ноды могут пытаться его потребить (нагрузка на сеть) (но это вроде самое безболезненное из возможных). | ||
| 41 | Системы с резервированием сообщений требуют подтверждения и имеют timeout, а это создает больше проблем и противоречий. | ||
| |
1.1 | 42 | ))) |
| |
1.4 | 43 | |(% style="width:93px" %)Некоторые моменты|(% style="width:1151px" %)((( |
| 44 | * Решение на основе БД позволяет делать делать разделение по типам. Но это может требовать блокировок или записи резервирования (нагрузка на диск). | ||
| 45 | * Решения на основе брокеров сообщений не очень подходят для распределения по типам. Время обработки сообщения у consumer брокера не должно быть большим (У Redis нет такой проблемы). | ||
| |
1.1 | 46 | ))) |
| |
1.4 | 47 | ))) |
| |
1.8 | 48 | |(% style="width:157px" %)Резервирование в БД|(% style="width:1277px" %)((( |
| 49 | |(% style="width:29px" %)1|(% style="width:1272px" %)((( | ||
| 50 | |(% style="width:67px" %) |(% style="width:1187px" %)Одна транзакция с блокировкой. | ||
| 51 | |(% style="width:67px" %)Плюсы|(% style="width:1187px" %)((( | ||
| 52 | * Сравнительно просто. | ||
| 53 | * Нет записи на диск. | ||
| 54 | Но используется память БД для хранения блокировок. | ||
| 55 | ))) | ||
| 56 | |(% style="width:67px" %)Минусы|(% style="width:1187px" %)((( | ||
| 57 | * Не подходит под все кейсы. | ||
| 58 | ** Если мы хотим запустить задачи параллельно: | ||
| 59 | Нужно использовать AdvisoryLock (а не блокировку БД) (только Postgres), иначе транзакция блокировки не сможет записать строку. | ||
| 60 | Необходимо удерживать select транзакцию и AdvisoryLock на протяжении всего времени обработки батча (возможно долгая транзакция на чтение). | ||
| 61 | * Не использует индекс, необходимо проверять блокировку по все строкам. | ||
| 62 | ))) | ||
| 63 | ))) | ||
| 64 | |(% style="width:29px" %)2|(% style="width:1272px" %)((( | ||
| 65 | |(% style="width:68px" %) |(% style="width:1185px" %)Поле ReserveDate. | ||
| 66 | |(% style="width:68px" %)Плюсы|(% style="width:1185px" %)((( | ||
| 67 | * При выборе задач на обработку используется индекс (эффективно). | ||
| 68 | ))) | ||
| 69 | |(% style="width:68px" %)Минусы|(% style="width:1185px" %)((( | ||
| 70 | * Нагрузка - запись на диск для выставления пометки резервирования. | ||
| 71 | ))) | ||
| 72 | ))) | ||
| 73 | |(% style="width:29px" %)3|(% style="width:1272px" %)((( | ||
| 74 | |(% style="width:75px" %) |(% style="width:1179px" %)InMemory (возможно unlogged) таблица в реляционной БД. | ||
| 75 | |(% style="width:75px" %)Плюсы|(% style="width:1179px" %)((( | ||
| 76 | * Запись о резервирование не нагружает диск. | ||
| 77 | * Наличие полной транзакционности. | ||
| 78 | ))) | ||
| 79 | |(% style="width:75px" %)Минусы|(% style="width:1179px" %)((( | ||
| 80 | * Необходим join с основной таблицей. | ||
| 81 | * Функция InMemory таблиц не является стандартной, не везде поддерживается. | ||
| 82 | ))) | ||
| 83 | ))) | ||
| 84 | ))) | ||
| 85 | |(% style="width:157px" %)Очередь распределения на основе брокера сообщений.|(% style="width:1277px" %)((( | ||
| 86 | |(% style="width:78px" %)Минусы|(% style="width:1222px" %)((( | ||
| 87 | * Переподключения и накладные расходы. | ||
| 88 | * Ограниченное время на обработку сообщения (timeout). Может не подходить для долгой обработки. | ||
| 89 | * Нет возможности гибко распределять потребление задач по типам (можно делать в Redis) (гибкая конфигурация нод и обрабатываемых ими типов процессов). | ||
| 90 | * (Менее критично) Отсутствие резервирования, дублирования в очереди, нет гарантий уникальности (у Redis такая возможность есть). | ||
| 91 | Или резервирование в БД (лишняя нагрузка на запись). | ||
| 92 | * Распределение нагрузки. Kafka. Параллелизм только на уровне набора партиций. При перегрузке партиции необходимость увеличение количетсва. | ||
| 93 | ))) | ||
| 94 | |(% style="width:78px" %)Плюсы|(% style="width:1222px" %)((( | ||
| 95 | * (Не точно) Предположительно производительность выше чем у Redis при обработке мелких задач. Но обработка это все равное транзакция БД (не быстрее нее). | ||
| 96 | ))) | ||
| 97 | ))) | ||
| |
1.1 | 98 | |
| 99 |