Изменения документа Движок cccc1808. ProcessEngine

Сводка

• Свойства страницы (1 изменено, 0 добавлено, 0 удалено)

Подробности

Свойства страницы

Содержимое

...	...	@@ -7,13 +7,12 @@
7	7	Система триггеров используется для таймеров и передачи сигналов для процессов (с оптимизацией нагрузки).
8	8	|Репозиторий|[[https:~~/~~/github.com/cccc1808/cccc1808.ProcessEngine>>https://github.com/cccc1808/cccc1808.ProcessEngine]]
9	9	)))
10		-|(% style="width:132px" %)Развертывание|(% style="width:1301px" %)(((
	10	+|(% style="width:132px" %)Разветывание|(% style="width:1301px" %)(((
11	11	|(% style="width:150px" %)База данных|(% style="width:1177px" %)(((
12	12	Для надежного хранения данных процессов и триггеров.
13	13
14		-* Есть реализация под [[EntityFramework>>doc:Разработка.NET.Работа с БД.EntityFramework | EntityFrameworkCore.WebHome]].
15		-* Есть реализация под [[linq2db>>doc:Разработка.NET.Работа с БД.linq2db.WebHome]] (cccc1808/feature/linq2db).
16		-* Модель позволяет сделать реализацию под другие решения (за счет наличия IProcessContainer и методов Update).
	14	+* Сейчас есть реализация под EntityFramework.
	15	+* Но модель позволяет сделать реализацию под другие решения ([[linq2db>>doc:Разработка.NET.Работа с БД.linq2db.WebHome]] или чистый Ado.Net) (за счет наличия IProcessContainer и методов Update).
17	17
18	18	Для текущей реализации в качестве хранилище может выступать БД, поддерживающая:
19	19
...	...	@@ -82,7 +82,58 @@
82	82	)))
83	83	|(% style="width:159px" %)Range preload process data|(% style="width:1168px" %)(Необязательно) возможность в начале сессии обработки пакетно предзагружать данные и бизнес сущности для процессов (Range query) из обрабатываемого батча для оптимизации чтения (если используется обработка пакета процессов в одной транзакции).
84	84	)))
	84	+|(% style="width:132px" %)Примеры|(% style="width:1301px" %)(((
	85	+|(% style="width:32px" %)1|(% style="width:171px" %)Родительский процесс, N дочерних процессов.|(% style="width:1066px" %)(((
	86	+|(% style="width:870px" %)(((
	87	+В данном примере имеется в виду, что дочерние процессы могут выполняться параллельно другу и независимо друг от друга, но в конце должны оповестить родительский процесс о необходимости продолжения обработки.
	88	+Если речь идет о каких-либо зависимостях порядка выполнения в дочерних процессах, то это может контролировать дочерний процесс (выделяя группу, которую сейчас можно запустить и ожидая окончания).
	89	+)))
	90	+|(% style="width:870px" %)(((
	91	+1. Родительский процесс создает триггер со счетчиком N, создает и запускает дочерние процессы, засыпает.
	92	+1. Дочерние процесс при завершении публикует TriggerEvent.
	93	+1. TriggerConsumerRunner периодически считывает батч TriggerEvent, уменьшает считчик триггера и делает запись в БД. За счет агрегации событий завершения процессов мы уменьшаем нагрузку на БД.
	94	+1. Когда все дочерние процессы отработали TriggerConsumerRunner получает значение счетчика 0 и взводит триггер.
	95	+1. Триггер пробуждает родительский процесс для дальнейшего выполнения.
	96	+)))
	97	+|(% style="width:870px" %)TriggerEvent публикуются без использования TransactionOutbox напрямую в брокер после коммита транзакции (иначе мы бы нагружали БД).
	98	+|(% style="width:870px" %)(((
	99	+Предполагаем, что основную часть времени система работает стабильно, но допускается ситуация, что транзакция закоммитилась, но TriggerEvent не смогли опубликоваться (остановка сервиса без graceful shutdown, проблемы соединения или работы с брокером сообщений).
85	85
	101	+Для таких случаев создается страхующий триггер (1 общий на тип процесса). Этот триггер запускается периодически и проходится по всем ожидающим процессам, проверяя условие (в реализации можно использовать keyset пагинацию) (в реализации можно использовать join для проверки условия).
	102	+Этот триггер выполняется периодически с более крупной временной задержкой. В случае обнаружения потери TriggerEvent, он поднимет заклинивший родительский процесс и он будет обработан (но позже). Можно установить этому триггеру низкий приоритет.
	103	+)))
	104	+|(% style="width:870px" %)[[image:Родительский дочерний процесс. Sequence.jpg]]
	105	+|(% style="width:870px" %)(((
	106	+
	107	+)))
	108	+)))
	109	+|(% style="width:32px" %)2|(% style="width:171px" %)Transaction outbox stream process.|(% style="width:1066px" %)[[image:Проекты и репозитории.Библиотеки.Движок cccc1808\. ProcessEngine.Примеры.WebHome@TransactionOutbox. Sequence.jpg]]
	110	+|(% style="width:32px" %)3|(% style="width:171px" %)Stream trigger|(% style="width:1066px" %)(((
	111	+|(% style="width:94px" %) |(% style="width:1002px" %)(((
	112	+* Позволяет убрать лишние запросы пробуждения процесса (когда он и так запущен).
	113	+* Позволяет полностью убрать задержку после остановки процесса (если есть новое сообщения, то он сразу же будет пробужден).
	114	+За счет того, что триггер точно знает, что есть новые сообщения и процесс только что уснул.
	115	+* Вводит 2 типа события, 1 сигнал о новом сообщении (содержит offset значение), 2 - процесс идет спать (содержит offset значение).
	116	+* Вводит дополнительное состояние в триггер: максимальный offset сообщения, максимальный offset обработанного процессом сообщения, флаг состояния сна процесса.
	117	+)))
	118	+|(% style="width:94px" %)Алгоритм триггера.|(% style="width:1002px" %)(((
	119	+* При получении события о засыпании процесса:
	120	+Фиксирует смещение процесса обработки и сравнивает со смещением сообщения.
	121	+Если все сообщения обработаны, то не пробуждает процесс, иначе пробуждает процесс.
	122	+* При получении события о новом сообщении:
	123	+Фиксирует новое наибольшее смещение.
	124	+Если процесс не спит (по флагу в триггере), то ничего не делает.
	125	+Если процесс спит (по флагу), то пробуждает процесс.
	126	+
	127	+Отслеживает смещение обработки процесса и последнего события.
	128	+Ожидает от процесса события о том, что он все обработал, его последнее смещение и он идет спать.
	129	+Если есть сообщения со смещением больше чем указал процесс, то делает гарантированное пробуждение процесса.
	130	+Когда поступает сигнал о новом сообщении (от отправителя сообщения), то обновляет данные о максимальном смещении и пробуждает процесс, если он спит
	131	+)))
	132	+|(% style="width:94px" %) |(% style="width:1002px" %)TODO:
	133	+)))
	134	+)))
	135	+
86	86	----
87	87
88	88	==== Внутренние ссылки: ====