超过Google BigQuery ExtractBytesPerDay使用配额-什么是ExtractBytesPerDay？

Question

我正在BigQuery中运行一系列查询，这些查询从一个表中获取数据，对其进行充实/转换，并加载到同一项目中的其他表中。

非常高级的查询结构如下：

WITH query_1 as (
SELECT columns from Table_A
WHERE some_condition = some_value
),
query_2 as (
SELECT processing_function(columns)
from A)
SELECT * from query_2

我正在通过Python调用此查询，并在查询作业配置中指定目标表。

上面提到的Table_A一天有大约2 TB的数据，而我正在将此操作循环10天。处理仅1天的数据后，BigQuery出现以下错误

[403配额已超出：您的使用量超出了ExtractBytesPerDay的配额。有关更多信息，请参见https://cloud.google.com/bigquery/troubleshooting-errors

我检查了配额，它正在推动我拥有的10TB配额限制，但我无法弄清楚什么是ExtractBytesPerDay配额。我可以增加配额限制，但是我想评估需要增加多少。

因此，任何操作说明此配额的方向都将很有帮助。有人知道ExtractBytesPerDay配额的含义吗？

Answer 1

您的配额似乎与将数据提取到Cloud Storage之类的目标的Exporting Data from BQ有关。

您应该知道有一个名为BigQuery Storage API的新API，可以帮助缓解配额问题。

如果无法解决您的问题，您可能希望与Google Cloud Platform Support联系以获得更多见解，并知道如何解决您的错误。