Изменения документа Движок cccc1808. ProcessEngine

Сводка

• Свойства страницы (1 изменено, 0 добавлено, 0 удалено)
• Вложения (0 изменено, 1 добавлено, 0 удалено)
  • Родительский дочерний процесс. Sequence.jpg

Подробности

Свойства страницы

Содержимое

...	...	@@ -81,7 +81,58 @@
81	81	)))
82	82	|(% style="width:159px" %)Range preload process data|(% style="width:1168px" %)(Необязательно) возможность в начале сессии обработки пакетно предзагружать данные и бизнес сущности для процессов (Range query) из обрабатываемого батча для оптимизации чтения (если используется обработка пакета процессов в одной транзакции).
83	83	)))
	84	+|(% style="width:132px" %)Примеры|(% style="width:1301px" %)(((
	85	+|(% style="width:32px" %)1|(% style="width:171px" %)Родительский процесс, N дочерних процессов.|(% style="width:1066px" %)(((
	86	+|(% style="width:870px" %)(((
	87	+В данном примере имеется в виду, что дочерние процессы могут выполняться параллельно другу и независимо друг от друга, но в конце должны оповестить родительский процесс о необходимости продолжения обработки.
	88	+Если речь идет о каких-либо зависимостях порядка выполнения в дочерних процессах, то это может контролировать дочерний процесс (выделяя группу, которую сейчас можно запустить и ожидая окончания).
	89	+)))
	90	+|(% style="width:870px" %)(((
	91	+1. Родительский процесс создает триггер со счетчиком N, создает и запускает дочерние процессы, засыпает.
	92	+1. Дочерние процесс при завершении публикует TriggerEvent.
	93	+1. TriggerConsumerRunner периодически считывает батч TriggerEvent, уменьшает считчик триггера и делает запись в БД. За счет агрегации событий завершения процессов мы уменьшаем нагрузку на БД.
	94	+1. Когда все дочерние процессы отработали TriggerConsumerRunner получает значение счетчика 0 и взводит триггер.
	95	+1. Триггер пробуждает родительский процесс для дальнейшего выполнения.
	96	+)))
	97	+|(% style="width:870px" %)TriggerEvent публикуются без использования TransactionOutbox напрямую в брокер после коммита транзакции (иначе мы бы нагружали БД).
	98	+|(% style="width:870px" %)(((
	99	+Предполагаем, что основную часть времени система работает стабильно, но допускается ситуация, что транзакция закоммитилась, но TriggerEvent не смогли опубликоваться (остановка сервиса без graceful shutdown, проблемы соединения или работы с брокером сообщений).
84	84
	101	+Для таких случаев создается страхующий триггер (1 общий на тип процесса). Этот триггер запускается периодически и проходится по всем ожидающим процессам, проверяя условие (в реализации можно использовать keyset пагинацию) (в реализации можно использовать join для проверки условия).
	102	+Этот триггер выполняется периодически с более крупной временной задержкой. В случае обнаружения потери TriggerEvent, он поднимет заклинивший родительский процесс и он будет обработан (но позже). Можно установить этому триггеру низкий приоритет.
	103	+)))
	104	+|(% style="width:870px" %)[[image:Родительский дочерний процесс. Sequence.jpg]]
	105	+|(% style="width:870px" %)(((
	106	+
	107	+)))
	108	+)))
	109	+|(% style="width:32px" %)2|(% style="width:171px" %)Transaction outbox stream process.|(% style="width:1066px" %)[[image:Проекты и репозитории.Библиотеки.Движок cccc1808\. ProcessEngine.Примеры.WebHome@TransactionOutbox. Sequence.jpg]]
	110	+|(% style="width:32px" %)3|(% style="width:171px" %)Stream trigger|(% style="width:1066px" %)(((
	111	+|(% style="width:94px" %) |(% style="width:1002px" %)(((
	112	+* Позволяет убрать лишние запросы пробуждения процесса (когда он и так запущен).
	113	+* Позволяет полностью убрать задержку после остановки процесса (если есть новое сообщения, то он сразу же будет пробужден).
	114	+За счет того, что триггер точно знает, что есть новые сообщения и процесс только что уснул.
	115	+* Вводит 2 типа события, 1 сигнал о новом сообщении (содержит offset значение), 2 - процесс идет спать (содержит offset значение).
	116	+* Вводит дополнительное состояние в триггер: максимальный offset сообщения, максимальный offset обработанного процессом сообщения, флаг состояния сна процесса.
	117	+)))
	118	+|(% style="width:94px" %)Алгоритм триггера.|(% style="width:1002px" %)(((
	119	+* При получении события о засыпании процесса:
	120	+Фиксирует смещение процесса обработки и сравнивает со смещением сообщения.
	121	+Если все сообщения обработаны, то не пробуждает процесс, иначе пробуждает процесс.
	122	+* При получении события о новом сообщении:
	123	+Фиксирует новое наибольшее смещение.
	124	+Если процесс не спит (по флагу в триггере), то ничего не делает.
	125	+Если процесс спит (по флагу), то пробуждает процесс.
	126	+
	127	+Отслеживает смещение обработки процесса и последнего события.
	128	+Ожидает от процесса события о том, что он все обработал, его последнее смещение и он идет спать.
	129	+Если есть сообщения со смещением больше чем указал процесс, то делает гарантированное пробуждение процесса.
	130	+Когда поступает сигнал о новом сообщении (от отправителя сообщения), то обновляет данные о максимальном смещении и пробуждает процесс, если он спит
	131	+)))
	132	+|(% style="width:94px" %) |(% style="width:1002px" %)TODO:
	133	+)))
	134	+)))
	135	+
85	85	----
86	86
87	87	==== Внутренние ссылки: ====

Родительский дочерний процесс. Sequence.jpg

Author

...	...	@@ -1,0 +1,1 @@
	1	+XWiki.cccc1808

Размер

...	...	@@ -1,0 +1,1 @@
	1	+247.1 KB

Содержимое