Изменения документа Задачи. Распределение, резервирование, очередь.

Сводка

• Свойства страницы (1 изменено, 0 добавлено, 0 удалено)

Подробности

Свойства страницы

Содержимое

...	...	@@ -6,44 +6,27 @@
6	6	|(% style="width:105px" %) |(% style="width:1138px" %)
7	7	)))
8	8	|(% style="width:157px" %)Очередь и резервирование на основе [[Redis>>doc:Разработка.Базы данных.NoSQL.Ключ-значение структура.Redis.WebHome]]|(% style="width:1277px" %)(((
9		-|(% style="width:93px" %)Ветка|(% style="width:1151px" %)(((
10		-* --feature/redis_typed_process_queue--
11		-* Решение на основе Redis выделено как основное и включено в master ветку (как наилучшее по производительности, нагрузке, задержкам).
12		-* Решение, допускающие запуск без Redis помещено в ветку master2.
13		-)))
	9	+|(% style="width:93px" %)Ветка|(% style="width:1151px" %)feature/redis_typed_process_queue
14	14	|(% style="width:93px" %)Топология|(% style="width:1151px" %)DbSelector -> (Queue with reserve) -> Executor.
15	15	ExecutorRunner -> (Queue with reserve) -> Executor.
16	16	|(% style="width:93px" %)Компоненты|(% style="width:1151px" %)(((
17	17	|(% style="width:369px" %)В качестве очереди выступает один или группа SortedSet и PubSub channel.|(% style="width:759px" %)(((
18		-* SortedSet - позволяет хранить заявки на обработку (без дублей) и имеет упорядоченность (можно указать критерий, например приоритет / дата создания/ дата последней обработки).
	14	+* SortedSet - позволяет хранить заявки на обработку (без дублей) и имеет упорядоченность (можно указать критерий, например приоритет или дата создания).
19	19	Использование нескольких SortedSet позволяет выполнить разделение по типу / приоритету процесса, чтобы ноды Executor могли отбирать только указанные для них типы задач.
20	20	* PubSub channel - используется для оповещения Executor о том, что в определенную очередь поступило сообщение. Executor может попытаться его считать, при наличии у него свободных слотов на обработку (параллелизм).
21	21	)))
22		-|(% style="width:369px" %)В качестве системы резервирования используется HashSet.|(% style="width:759px" %)(((
23		-Позволяет гарантировать уникальность (при резервировании), а также позволяет задействовать ExperationTimeout (автоматическое снятие резервирования, если вдруг нода упада и не смогла снять сама).
24		-
25		-Используется для обработки ситуации, когда задача была взята из очереди в обработку и обрабатывается (в этот промежуток нет смысла помещать в очередь повторно). В конце обработки (при нормальном завершение) резервирование снимается или при падении сработает ExperationTimeout.
	18	+|(% style="width:369px" %)В качестве системы резервирования используется HashSet.|(% style="width:759px" %)Позволяет гарантировать уникальность (при резервировании), а также позволяет задействовать ExperationTimeout (автоматическое снятие резервирования, если вдруг нода упада и не смогла снять сама).
26	26	)))
27		-)))
28	28	|(% style="width:93px" %)Плюсы|(% style="width:1151px" %)(((
29	29	* Все временные данные расположены в оперативной памяти.
30	30	Нет записи на диск. Их потеря не критична, она приведет к временной задержке, но система продолжит работу.
31	31	* При выборке из БД достаточно только чтения. Не требуется ни транзакция, ни блокировка, ни запись.
32	32	* Максимально быстрое попадание в Executor (Если обработчик публикует сразу в Queue (наличие такой возможности)).
33		-* Возможность реализации разделения по типам процессов (нода обрабатывает только определенные типы).
34		-* Возможность разделения на Single и Range процессы и реализация различного потребления из очереди (когда мы хотим обработать в одной транзакции 1 или N процессов).
35	35	)))
36	36	|(% style="width:93px" %)Минусы|(% style="width:1151px" %)(((
37		-* Для наибольшей производительности необходимо публиковать сообщения в очередь сразу (иначе будет ожидания цикла срабатывания DbSelector).
	27	+* Для наибольшей производительности необходимо публиковать сообщения в очередь (иначе будет ожидания цикла срабатывания DbSelector).
38	38	* Необходимость контроля потребляемой оперативной памяти.
39		-* DbSelector при проверке резервирования нагружает сеть (периодический запрос) (но это вроде самое безболезненное из возможных + регулируется timeout).
40		-* Когда в очередь поступает сообщение, то все ноды могут пытаться его потребить (нагрузка на сеть) (но это вроде самое безболезненное из возможных).
41		-Системы с резервированием сообщений требуют подтверждения и имеют timeout, а это создает больше проблем и противоречий.
42	42	)))
43		-|(% style="width:93px" %)Некоторые моменты|(% style="width:1151px" %)(((
44		-* Решение на основе БД позволяет делать делать разделение по типам. Но это может требовать блокировок или записи резервирования (нагрузка на диск).
45		-* Решения на основе брокеров сообщений не очень подходят для распределения по типам. Время обработки сообщения у consumer брокера не должно быть большим (У Redis нет такой проблемы).
46	46	)))
47		-)))
48	48
49	49