Инициализация процесса

Версия 1.3 от Alexandr Fokin на 2024/01/11 12:43
Инициализация
ТипЗаголовокОписание
На основе события Событие запуска процесса поступает извне, и обязательства о выборке данных для процесса лежат на внешнем компоненте.
События могут помещаться в некоторый буфер - хранилище (брокер сообщений, БД) и разбираться обработчиком до исчерпания.
На основе данныхПараллелизмГарантия, что код планировщика выполняются в эксклюзивном режиме, в случае если он запущен в нескольких экземплярах.
Предполагается Пессимистичная блокировка на уровне всех экземпляров.
Выборка до исчерпания

Выборка данных до тех пор пока они не исчерпаются.

Замечания:

  • Плохо подходит для больших объемов данных. Может привести к тому, 
  • Плохо подходит для сложных условий т.к. может привезти к тому, что будет невозможно выразить полный набор условий в виде запроса или запрос получиться сложным и также будет долго выполняться.

Пример:
Соединение таблицы доменных сущностей с таблицей процесса и выборка тех сущностей, по которым нет записи в таблице процесса.

Инициализация, привязанная к дате.Обработчик привязан к конкретной дате и рассматривает некоторый ограниченный набор, например одни сутки относительно указанной даты.
Таким образом мы явно ограничиваем блок данных. Но нужно учесть сценарии с возникновением ошибки, т.к. следующее срабатывание уже будет на основе новой даты.
Перебор всего сета доменных сущностей.

Необходимое условие: Наличие способа перебрать данные батчами, гарантия что данные не удаляются.

Вариант 1:
Если мы уверены, что доменные объекты не удаляются, то мы можем отсортировать их по дате создания и первичному ключу. Таким образом мы получим фиксированные страницы данных, которые можно обрабатывать параллельно. Невозможно выполнить, если допускается удаление объектов.

Вариант 2:
Если есть уникальный автоинкреметный числовой ключ, то можно использовать его.

Вариант 3:
Если кол-во записей не очень велико и мы можем без проблем полностью уместить сет всех ключей в оперативной памяти.
(Не требует гарантии не удаления т,к. в случае обнаружения удаления можно просто пропустить ключ).

Can queries that users ORDER BY using date to sort data be non deterministic?
https://dba.stackexchange.com/questions/241056/can-queries-that-users-order-by-using-date-to-sort-data-be-non-deterministic

Валидация перед запуском
  1. Валидация доменных объектов на возможность запуска экземпляра процесса (с гарантией, что доменной объект не будет изменен до конца транзакции планировщика, иначе мы можем принять некорректное решение о запуске процесса).
  2. Если существуют предыдущие экземпляры процесса (по ключевому набору), то они также вадидируются на возможность запуска нового экземпляра (например: В1 - процесс может запускаться только один раз, В2 - новый процесс не может быть запущен, пока есть активный предыдущий процесс).
  

 

Теги:
Создал(а) Alexandr Fokin 2024/01/11 12:26