Когда я предпочитаю пакетный анализ по интерактивному анализу?

Стимулом для использования пакетных запросов вместо интерактивных запросов было ценообразование, но с более новыми изменениями цен нет никакой разницы в затратах - так есть ли какой-либо другой стимул (квота, производительность, другой...) для использования пакетных запросов?

Ответы

Ответ 1

При изменении цены существуют две основные причины использования приоритета пакета:

  • он позволяет вам ставить в очередь ваши задания.
  • он позволяет запускать низкоприоритетные запросы таким образом, чтобы они не влияли на высокоприоритетные.

Существует ряд ограничений скорости, которые влияют на интерактивные (т.е. не-пакетные) запросы - вы можете выполнить не более 20 одновременных операций, существуют граничные ограничения байтов и "большие запросы". Если эти ограничения будут удалены, запрос немедленно сработает. Это связано с тем, что BigQuery предполагает, что интерактивный запрос - это то, что вам нужно выполнить немедленно.

Когда вы используете пакет, если вы когда-либо нажмете ограничение скорости, запрос будет поставлен в очередь и повторен позже. Есть еще аналогичные ограничения скорости, но они действуют отдельно от интерактивных ограничений скорости, поэтому ваши пакетные запросы не будут влиять на ваши интерактивные.

В качестве примера можно привести периодические запросы, которые вы запускаете ежедневно или ежечасно для создания информационных панелей. Возможно, у вас есть 100 запросов, которые вы хотите запустить. Если вы попытаетесь запустить их все одновременно как интерактивные, некоторые из них будут терпеть неудачу из-за параллельных ограничений скорости. Кроме того, вы не обязательно хотите, чтобы эти запросы мешали другим запросам, которые вы запускаете вручную из веб-интерфейса BigQuery. Таким образом, вы можете запускать запросы панели мониторинга с периодическим приоритетом, а другие запросы будут выполняться как интерактивные.

Еще один момент, который следует отметить, заключается в том, что планирование для пакетных запросов изменилось, поэтому среднее время ожидания должно значительно снизиться. Вместо того, чтобы ждать полчаса или около того, пакетные запросы должны начинаться через минуту или две (в зависимости от очереди и т.д.).