如何衡量基于 BigQuery 历史记录的优化的效果？

Question

我已启用 BigQuery 预览功能基于历史的优化。我可以在 JOBS_BY_PROJECT 信息模式视图中看到一堆查询，其中包含以下详细信息：

{"optimizations":[{"parallelism_adjustment":"applied"}]}

问题是；如何以数字方式衡量此优化的影响及其好处？

Answer 1

根据文档，您可以通过基于历史的优化来查看应用了哪些作业

SELECT
  job_id,
  query_info.optimization_details
FROM `project_name.region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE job_id = 'sample_job'
LIMIT 1;

对于实际数字，我相信没有直接的方法来查看比较，但您可以在此处查询性能以获得洞察力和
平均插槽利用率：

SELECT
  SUM(total_slot_ms) / (1000 * 60 * 60 * 24 * 7) AS avg_slots
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS
WHERE
  -- Filter by the partition column first to limit the amount of data scanned.
  -- Eight days allows for jobs created before the 7 day end_time filter.
  creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 8 DAY) AND CURRENT_TIMESTAMP()
  AND job_type = 'QUERY'
  AND statement_type != 'SCRIPT'
  AND end_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY) AND CURRENT_TIMESTAMP();