日期分区或日期分片

问题描述 投票:0回答:1

我在BigQuery中有许多日期分片表,包括几年的Google Analytics数据。我最近被告知这是旧的优化方法,而且日期分区要快得多。

它是否正确?我一直在寻找提高查询速度的方法,如果日期分区允许更快的查询,我应该重建所有日期分片的GA表作为日期分区吗?我应该两个都做吗?我可以期待看到什么样的性能影响,是否值得努力?

google-cloud-platform google-bigquery
1个回答
0
投票

Google文档中的这个页面相对彻底地回答了这个问题:https://cloud.google.com/bigquery/docs/partitioned-tables#partitioning_versus_sharding

最相关的部分:

分区表比按日期分片的表执行得更好。创建以日期命名的表时,BigQuery必须为每个以日期命名的表维护模式和元数据的副本。此外,使用以日期命名的表时,可能需要BigQuery来验证每个查询表的权限。此做法还会增加查询开销并影响查询性能。建议的最佳做法是使用分区表而不是日期分片表

您的性能改进将主要取决于您拥有的先前分片数以及您在单个查询中始终访问的分片数。

© www.soinside.com 2019 - 2024. All rights reserved.