Изменения документа Движок cccc1808. ProcessEngine

Сводка

• Свойства страницы (1 изменено, 0 добавлено, 0 удалено)
• Вложения (0 изменено, 0 добавлено, 1 удалено)
  • Родительский дочерний процесс. Sequence.jpg

Подробности

Свойства страницы

Содержимое

...	...	@@ -81,58 +81,7 @@
81	81	)))
82	82	|(% style="width:159px" %)Range preload process data|(% style="width:1168px" %)(Необязательно) возможность в начале сессии обработки пакетно предзагружать данные и бизнес сущности для процессов (Range query) из обрабатываемого батча для оптимизации чтения (если используется обработка пакета процессов в одной транзакции).
83	83	)))
84		-|(% style="width:132px" %)Примеры|(% style="width:1301px" %)(((
85		-|(% style="width:32px" %)1|(% style="width:171px" %)Родительский процесс, N дочерних процессов.|(% style="width:1066px" %)(((
86		-|(% style="width:870px" %)(((
87		-В данном примере имеется в виду, что дочерние процессы могут выполняться параллельно другу и независимо друг от друга, но в конце должны оповестить родительский процесс о необходимости продолжения обработки.
88		-Если речь идет о каких-либо зависимостях порядка выполнения в дочерних процессах, то это может контролировать дочерний процесс (выделяя группу, которую сейчас можно запустить и ожидая окончания).
89		-)))
90		-|(% style="width:870px" %)(((
91		-1. Родительский процесс создает триггер со счетчиком N, создает и запускает дочерние процессы, засыпает.
92		-1. Дочерние процесс при завершении публикует TriggerEvent.
93		-1. TriggerConsumerRunner периодически считывает батч TriggerEvent, уменьшает считчик триггера и делает запись в БД. За счет агрегации событий завершения процессов мы уменьшаем нагрузку на БД.
94		-1. Когда все дочерние процессы отработали TriggerConsumerRunner получает значение счетчика 0 и взводит триггер.
95		-1. Триггер пробуждает родительский процесс для дальнейшего выполнения.
96		-)))
97		-|(% style="width:870px" %)TriggerEvent публикуются без использования TransactionOutbox напрямую в брокер после коммита транзакции (иначе мы бы нагружали БД).
98		-|(% style="width:870px" %)(((
99		-Предполагаем, что основную часть времени система работает стабильно, но допускается ситуация, что транзакция закоммитилась, но TriggerEvent не смогли опубликоваться (остановка сервиса без graceful shutdown, проблемы соединения или работы с брокером сообщений).
100	100
101		-Для таких случаев создается страхующий триггер (1 общий на тип процесса). Этот триггер запускается периодически и проходится по всем ожидающим процессам, проверяя условие (в реализации можно использовать keyset пагинацию) (в реализации можно использовать join для проверки условия).
102		-Этот триггер выполняется периодически с более крупной временной задержкой. В случае обнаружения потери TriggerEvent, он поднимет заклинивший родительский процесс и он будет обработан (но позже). Можно установить этому триггеру низкий приоритет.
103		-)))
104		-|(% style="width:870px" %)[[image:Родительский дочерний процесс. Sequence.jpg]]
105		-|(% style="width:870px" %)(((
106		-
107		-)))
108		-)))
109		-|(% style="width:32px" %)2|(% style="width:171px" %)Transaction outbox stream process.|(% style="width:1066px" %)[[image:TransactionOutbox. Sequence.jpg]]
110		-|(% style="width:32px" %)3|(% style="width:171px" %)Stream trigger|(% style="width:1066px" %)(((
111		-|(% style="width:94px" %) |(% style="width:1002px" %)(((
112		-* Позволяет убрать лишние запросы пробуждения процесса (когда он и так запущен).
113		-* Позволяет полностью убрать задержку после остановки процесса (если есть новое сообщения, то он сразу же будет пробужден).
114		-За счет того, что триггер точно знает, что есть новые сообщения и процесс только что уснул.
115		-* Вводит 2 типа события, 1 сигнал о новом сообщении (содержит offset значение), 2 - процесс идет спать (содержит offset значение).
116		-* Вводит дополнительное состояние в триггер: максимальный offset сообщения, максимальный offset обработанного процессом сообщения, флаг состояния сна процесса.
117		-)))
118		-|(% style="width:94px" %)Алгоритм триггера.|(% style="width:1002px" %)(((
119		-* При получении события о засыпании процесса:
120		-Фиксирует смещение процесса обработки и сравнивает со смещением сообщения.
121		-Если все сообщения обработаны, то не пробуждает процесс, иначе пробуждает процесс.
122		-* При получении события о новом сообщении:
123		-Фиксирует новое наибольшее смещение.
124		-Если процесс не спит (по флагу в триггере), то ничего не делает.
125		-Если процесс спит (по флагу), то пробуждает процесс.
126		-
127		-Отслеживает смещение обработки процесса и последнего события.
128		-Ожидает от процесса события о том, что он все обработал, его последнее смещение и он идет спать.
129		-Если есть сообщения со смещением больше чем указал процесс, то делает гарантированное пробуждение процесса.
130		-Когда поступает сигнал о новом сообщении (от отправителя сообщения), то обновляет данные о максимальном смещении и пробуждает процесс, если он спит
131		-)))
132		-|(% style="width:94px" %) |(% style="width:1002px" %)TODO:
133		-)))
134		-)))
135		-
136	136	----
137	137
138	138	==== Внутренние ссылки: ====

Родительский дочерний процесс. Sequence.jpg

Author

...	...	@@ -1,1 +1,0 @@
1		-XWiki.cccc1808

Размер

...	...	@@ -1,1 +1,0 @@
1		-247.1 KB

Содержимое