在BigQuery视图上需要分区过滤器

问题描述 投票:0回答:1

我们目前在各个团队的大查询中有几个授权视图

目前,我们正在使用partition_date列在查询中使用以减少处理的数据量(reference

#standardSQL
SELECT
  <required_fields,...>, 
  EXTRACT(DATE FROM _PARTITIONTIME) AS partition_date
FROM
  `<project-name>.<dataset-name>.<table-name>`
WHERE
  _PARTITIONTIME >= TIMESTAMP("2018-05-01")
  AND _PARTITIONTIME <= CURRENT_TIMESTAMP()
  AND <Blah-Blah-Blah>

然而,由于我们拥有的用户和数据的数量,很难保持大查询脚本的质量,导致我们随着相对增加的用户数量而增加查询成本。

我发现在创建--require_partition_filter时我们可以使用referenceTABLEs)。那么,有人可以帮助我解决以下问题

  • 当我使用上面的过滤器创建一个表时,由于在表级别启用了分区过滤器,引用的视图是否也会期望分区条件?
  • 由于与我们所拥有的表相关的授权视图的数量,需要付出巨大努力才能将其更改为物化视图(表)。有没有其他方法可以在视图级别上应用类似--require_partition_filter的类似/使用?

仅供参考,对于想要使用上述过滤器更新当前表的人,我看到我们可以使用bq update命令(reference),我计划将其用于现有分区表。

google-cloud-platform google-bigquery
1个回答
1
投票
  1. 是的,对通过视图查询的表的相同限制适用。
  2. 那没有。
© www.soinside.com 2019 - 2024. All rights reserved.