从数据流中查询BigQuery的INFORMATION_SCHEMA.TABLES会导致错误

Question

我正在尝试在INFORMATION_SCHEMA上运行查询，以从数据流中检索有关bigquery表的元数据。找到下面的代码和错误。相同的查询在BQ UI中正常工作

query=SELECT * EXCEPT(is_typed) FROM `dummy_dataset.INFORMATION_SCHEMA.TABLES`"

p1=p | "create1" >> beam.io.Read(beam.io.BigQuerySource(query=query, use_standard_sql=True))

"errors": [
      {
        "message": "Illegal operation on INFORMATION_SCHEMA view: dummy_dataset.INFORMATION_SCHEMA.TABLES",
        "domain": "global",
        "reason": "invalid"
      }
    ]

Answer 1

我能够通过使用运行器DataflowRunner从我的数据集中读取INFORMATION_SCHEMA.TABLES视图，但是当我使用DirectRunner时，我得到了与您相同的错误消息。因此，就像Elliott提到的那样，你可以为BigQuery团队以及Dataflow team提交一个bug。在此期间，您可以尝试使用DataflowRunner从此视图中读取。

希望能帮助到你。