Комментарий

• Свойства страницы (1 изменено, 0 добавлено, 0 удалено)

Подробности

Свойства страницы

Содержимое

...	...	@@ -21,6 +21,7 @@
21	21	|(% style="width:227px" %)На основе данных, по выборке с параметрами|(% style="width:272px" %)dto с параметрами|(% style="width:1023px" %)
22	22	)))
23	23	|(% style="width:157px" %)Инициализация на основе данных|(% style="width:1328px" %)(((
	24	+(% border="1" %)
24	24	|(% style="width:142px" %)Тип|(% style="width:1168px" %)
25	25	|(% style="width:142px" %)Выборка батчей до исчерпания|(% style="width:1168px" %)(((
26	26	Выборка данных до тех пор пока они не исчерпаются.
...	...	@@ -37,18 +37,15 @@
37	37	Соединение таблицы доменных сущностей с таблицей процесса и выборка тех сущностей, по которым нет записи в таблице процесса.
38	38	)))
39	39	|(% style="width:142px" %)Перебор батчей данных|(% style="width:1168px" %)(((
40		-Когда речь заходит о переборе данных, то явно касаемся вопрос пагинации.
	41	+Когда речь заходит о переборе данных, то явно касаемся вопрос [[Пагинация | Paging>>doc:Разработка.Базы данных.Сценарии.Пагинация | Paging.WebHome]].
41	41
42		-Условия:
	43	+Стоит учитывать следующие моменты:
43	43
44		-* Фильтрация - возможность перебрать не весь сет данных, а только часть по условию.
	45	+* Фильтрация - перебор ограниченного подмножества от всего набора данных (условие).
45	45	* Параллелизм - возможность выполнения операции параллельно (с распределением блоков между обработчиками).
46	46	* Модификация данных - гарантия что в процессе, данные могут быть изменены (самой инициализацией или внешним воздействием).
47	47
48		-|(% style="width:125px" %)Тип пагинации|(% style="width:121px" %)Параллелизм|(% style="width:176px" %)Модификация данных|(% style="width:188px" %)Фильтрация|(% style="width:540px" %)Описание
49		-|(% style="width:125px" %)Offset|(% style="width:121px" %)+|(% style="width:176px" %)-|(% style="width:188px" %)+|(% style="width:540px" %)1) Распределить фиксирует общее кол-во страниц.
50		-2) Распределить запускает обработчики на диапазонах страниц данных.
51		-|(% style="width:125px" %)Keyset|(% style="width:121px" %)-|(% style="width:176px" %)+|(% style="width:188px" %)+|(% style="width:540px" %)
	49	+Keyset пагинации может быть более эффективной (с точки зрения стоимости запроса).
52	52	)))
53	53	)))
54	54	|(% style="width:157px" %)Валидация перед запуском|(% style="width:1328px" %)(((
...	...	@@ -94,62 +94,5 @@
94	94	)))
95	95	)))
96	96	)))
97		-
98		-
99	99	)))
100	100	|(% style="width:157px" %) |(% style="width:1328px" %)
101		-
102		-(% border="1" %)
103		-|(% style="width:15px" %) |(% style="width:1470px" %)(((
104		-(% border="1" %)
105		-|(% style="width:151px" %)На основе события|(% style="width:1188px" %)Событие запуска процесса поступает извне, и обязательства о выборке данных для процесса лежат на внешнем компоненте.
106		-События могут помещаться в некоторый буфер - хранилище (брокер сообщений, БД) и разбираться обработчиком до исчерпания.
107		-|(% style="width:151px" %)На основе данных|(% style="width:1188px" %)(((
108		-(% border="1" %)
109		-|(% colspan="2" %)Замечания
110		-|Параллелизм|Гарантия, что код планировщика выполняются в эксклюзивном режиме, в случае если он запущен в нескольких экземплярах.
111		-Предполагается [[Пессимистичная блокировка>>doc:Архитектура и модели.Блокировки.Пессимистичная блокировка.WebHome]] на уровне всех экземпляров.
112		-
113		-(% border="1" %)
114		-|(% style="width:177px" %)Тип|(% style="width:993px" %)
115		-|(% style="width:177px" %)Выборка до исчерпания|(% style="width:993px" %)(((
116		-Выборка данных до тех пор пока они не исчерпаются.
117		-
118		-Замечания:
119		-
120		-* Плохо подходит для больших объемов данных. Может привести к долгому выполнению выборки.
121		-* Плохо подходит для сложных условий т.к. может привезти к тому, что будет невозможно выразить полный набор условий в виде запроса или запрос получиться сложным и также будет долго выполняться.
122		-* Если при обработке ключевого доменного объекта возникнет ошибка, то это окажет влияние на всю операцию инициализации. Может быть проблематично отбросить данный доменный объект, чтобы он не попал в выборку.
123		-
124		-Пример:
125		-Соединение таблицы доменных сущностей с таблицей процесса и выборка тех сущностей, по которым нет записи в таблице процесса.
126		-)))
127		-|(% style="width:177px" %)Инициализация, привязанная к дате.|(% style="width:993px" %)Обработчик привязан к конкретной дате и рассматривает некоторый ограниченный набор, например одни сутки относительно указанной даты.
128		-Таким образом мы явно ограничиваем блок данных. Но нужно учесть сценарии с возникновением ошибки, т.к. следующее срабатывание уже будет на основе новой даты.
129		-|(% style="width:177px" %)Перебор всего сета доменных сущностей.|(% style="width:993px" %)(((
130		-| |Пагинация|Параллелизм|Фильтрация сета|
131		-| |Страницы|+|-|
132		-| |Смещение|-|+|
133		-
134		-Необходимое условие: Наличие способа перебрать данные сета данных.
135		-Вариант 1: Если перебираем записи без использования параллелизма, то нам достаточно организовать некоторую пагинацию и последовательно идти, обрабатывая подходящие для запуска процесса строки.
136		-\\Вариант 2:
137		-Если мы уверены, что доменные объекты не удаляются, то мы можем отсортировать их по дате создания и первичному ключу (Если есть уникальный автоинкреметный числовой ключ, то можно использовать его).
138		-Таким образом мы получим детерминированные страницы данных, которые даже можно обрабатывать параллельно.
139		-Невозможно выполнить, если допускается удаление объектов т.к. оно может изменить данные в страницах.
140		-Либо можно прикинуть вариант, когда мы используем блокировку доменных объектов через БД, таким образом в каждом обрабатываем батче (в один момент времени) будет уникальный набор доменных объектов, и если один и тот же объект попадет в разные батчи, то в первом случае он обработается, а во втором он будет отброшен (есть вероятность, что некоторые строки, существовавшие на момент начала операции, не попадут в выборку).
141		-
142		-Вариант 4:
143		-Если кол-во записей не очень велико и мы можем без проблем полностью уместить сет всех ключей в оперативной памяти.
144		-(Не требует гарантии, что сущность нельзя удалить, т,к. в случае обнаружения удаления можно просто пропустить ключ).
145		-
146		-[[Пагинация | Paging>>doc:Разработка.Базы данных.Сценарии.Пагинация | Paging.WebHome]]
147		-
148		-Can queries that users ORDER BY using date to sort data be non deterministic?
149		-[[https:~~/~~/dba.stackexchange.com/questions/241056/can-queries-that-users-order-by-using-date-to-sort-data-be-non-deterministic>>https://dba.stackexchange.com/questions/241056/can-queries-that-users-order-by-using-date-to-sort-data-be-non-deterministic]]
150		-)))
151		-)))
152		-)))
153		-|(% style="width:15px" %) |(% style="width:1470px" %)
154		-
155		-