如何在 GCP Dataflow 中使用 python 管道代码读取 BigQuery 身份验证视图

Question

我们正在尝试从 BigQuery 授权视图（GCP PROJECT2）中提取数据，该视图是使用 Dataflow + apache beam python 创建的，指向源视图（在 GCP PROJECT 1 中可用），并收到以下错误：

• “错误结果：”

感谢您的帮助。

Answer 1

原则上这应该是可行的，事实上这并不表明您仍然存在 IAM 问题。

假设 Dataflow 运行的 GCP 项目是

project_T

，包含

dataset_T

，BigQuery 视图

view_T

指向 GCP 项目

project_S

，其中

dataset_S

和

view_S

（后缀

_T

表示目标和后缀）

_S

获取来源）。

您能否验证以下内容：

1. 在工作线程上执行代码 (

   project_T

   ) 的 Dataflow 服务帐户在

   roles/bigquery.dataViewer

    上有 

   dataset_T

2. view_T

   在

   dataset_S

   中设置为授权视图（必须在

   project_S

   内设置）

3. view_T

   仅从

   dataset_S

   查询视图/表，而从

   project_S

   不查询任何其他内容。如果涉及更多数据集，

   project_S

   中的附加数据集也被授权
4. Dataflow 不会（意外）直接从

   project_S

   查询任何内容，而仅从

   view_T

查询任何内容