Что означает "массовая загрузка"?

Перескакивая от статьи к статье, я везде вижу выражение "объемная загрузка".

Что это означает (технически)?

Что это подразумевает?

Объяснение, основанное на вариантах использования, приветствуется.

Ответы

Ответ 1

Индексы обычно оптимизируются для вставки строк по одному. Когда вы добавляете большое количество данных одновременно, вставка строк по одному может быть неэффективной. Например, с B-Tree, оптимальный способ вставки одного ключа - очень плохой способ добавить кучу данных в пустой индекс.

Вместо этого вы проводите другую стратегию с B-Trees. Вы пресекаете все данные и группируете их в блоки. Затем вы можете построить новое B-Tree, преобразовывая блоки в узлы дерева. Хотя оба метода имеют одинаковые асимптотические характеристики, O (n log (n)), операция объемной нагрузки имеет гораздо меньший коэффициент.

Ответ 2

Массовая загрузка - это способ загрузки данных (обычно в базу данных) в "больших кусках". Когда вы можете вводить клиента или заказ на поставку или информацию о товарах в инвентаре по одному в вашей системе, массовая загрузка принимает файл такого же типа информации и загружает сотни/тысячи/миллионы записей за короткий промежуток времени.

Если вы конвертируете из одного вида СУБД в другой, вы надеетесь не вводить всю информацию в новую БД из старой БД. Вместо этого вы удаляете информацию из старой БД в файл в формате, который может быть легко прочитан новой БД, а затем импортировать эти данные в новую БД.

То, что объемная загрузка влечет за собой (на уровне 35 тыс. футов) в любом случае

Ответ 3

Массовая загрузка используется для импорта/экспорта больших объемов данных. Обычно массовые операции не регистрируются, а целостность транзакций может работать не так, как ожидалось. Часто массовые операции байпасных триггеров и проверки целостности, такие как ограничения. Это значительно повышает производительность для больших объемов данных.

Ответ 4

Следует помнить, что массовая загрузка подразумевает, что содержимое данных от источника до цели одинаково, но это справедливо только в том случае, если исходная система одобрена. Для любого источника данных и особенно для больших данных исходные данные могут измениться после того, как они были прочитаны и происходит передача данных. Традиционно онлайн-системы должны либо выйти из строя, либо приостановить обновления, если требуется точное время, которое требуется для моментального отсчета, соответствующего источнику.