如何使用bq命令调度BigQuery DataTransfer服务

问题描述 投票:1回答:1

我正在尝试使用BigQuery创建数据传输服务。我用bq命令创建了DTS,

  1. 我能够成功创建DTS
  2. 我需要指定自定义时间来使用bq命令进行调度

创建数据传输服务时是否可以安排自定义时间。请参阅样本bq命令

bq mk --transfer_config \
--project_id='My project' \
--target_dataset='My Dataset' \
--display_name='test_bqdts' \
--params='{"data_path":<data_path>,
"destination_table_name_template":<destination_table_name>,
"file_format":<>,
"ignore_unknown_values":"true",
"access_key_id": "access_key_id",
"secret_access_key": "secret_access_key"
}' \
--data_source=data_source_id

注意:使用命令行工具创建Amazon S3传输时,将使用Schedule的默认值(每24小时)来设置传输配置。

amazon-web-services amazon-s3 google-bigquery command-line-interface
1个回答
1
投票

您可以使用标志--schedule,如您所见here

选项2:使用bq mk命令。

计划查询是一种转移。要安排查询,您可以使用BigQuery数据传输服务CLI进行传输配置。

查询必须使用StandardSQL方言进行安排。

输入bq mk命令并提供转移创建标志--transfer_config。还需要以下标志:

  • -data_source
  • -target_dataset(对于DDL / DML查询是可选的。)
  • -display_name
  • -参数

可选标志:

  • -project_id是您的项目ID。如果未指定--project_id,则使用默认项目。

  • -计划是您希望查询运行的频率。如果未指定--schedule,则默认值为基于创建的“每24小时”时间。

  • 对于DDL / DML查询,您还可以提供--location标志以指定要处理的特定区域。如果--location不是指定,则使用全球Google Cloud位置。

  • -service_account_name用于通过服务帐户而不是您的个人用户帐户来验证计划的查询。注意:将服务帐户与计划查询一起使用是beta版。bq mk \--transfer_config \--project_id = project_id \--target_dataset =数据集\--display_name =名称\--params ='参数'--data_source =数据源

例如,如果要设置24小时计划,则应使用-schedule='every 24 hours'您可以找到时间语法here

的完整参考

希望对您有帮助

© www.soinside.com 2019 - 2024. All rights reserved.