设置表描述使用apache_beam.io.gcp.bigquery.writetetobigquery

问题描述 投票:0回答:1

可以使用Apache Beam的WriteTobigquery

创建一个带有提供的描述字符串(用于表)的表格的表格?

additional_bq_parameters参数可用于设置例如群集或分区字段,但是我找不到在此处设置表描述的方法,也无法在传递的架构对象中设置表描述。

使用本机束功能有其他方法来执行此操作(创建一个具有描述 /设置表描述的表)?

apache_beam.io.gcp.bigquery.writeTeTobigquery transform the Table创建时的设置表描述并未直接支持。没有用于指定描述的参数,但是架构参数允许您指定表模式。设置表描述需要以下步骤:
google-bigquery apache-beam-io
1个回答
0
投票

独立构造表:使用BigQuery API或BQ命令行工具在执行Beam Pipeline之前构造BigQuery表。这使您可以在创建表时包含一个描述。这确保了桌子在梁管道试图编写数据之前就在那里。有关更多详细信息,请参阅此
    文档
  1. 用Create_never启用Writetobigquery:在您的梁管道中,使用beam..io.bigquerydisposition.create_never用作create_disposition参数。结果,Beam只会将数据发布到现有表,而不是尝试创建表本身并参考

    link1
  2. link2

    .

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.