如何使用bq命令调度BigQuery DataTransfer服务

Question

我正在尝试使用BigQuery创建数据传输服务。我用bq命令创建了DTS，

1. 我能够成功创建DTS
2. 我需要指定自定义时间来使用bq命令进行调度

创建数据传输服务时是否可以安排自定义时间。请参阅样本bq命令

bq mk --transfer_config \
--project_id='My project' \
--target_dataset='My Dataset' \
--display_name='test_bqdts' \
--params='{"data_path":<data_path>,
"destination_table_name_template":<destination_table_name>,
"file_format":<>,
"ignore_unknown_values":"true",
"access_key_id": "access_key_id",
"secret_access_key": "secret_access_key"
}' \
--data_source=data_source_id

注意：使用命令行工具创建Amazon S3传输时，将使用Schedule的默认值（每24小时）来设置传输配置。

Answer 1

您可以使用标志--schedule，如您所见here

选项2：使用bq mk命令。

计划查询是一种转移。要安排查询，您可以使用BigQuery数据传输服务CLI进行传输配置。

查询必须使用StandardSQL方言进行安排。

输入bq mk命令并提供转移创建标志--transfer_config。还需要以下标志：

• -data_source
• -target_dataset（对于DDL / DML查询是可选的。）
• -display_name
• -参数

可选标志：

• -project_id是您的项目ID。如果未指定--project_id，则使用默认项目。

• -计划是您希望查询运行的频率。如果未指定--schedule，则默认值为基于创建的“每24小时”时间。

• 对于DDL / DML查询，您还可以提供--location标志以指定要处理的特定区域。如果--location不是指定，则使用全球Google Cloud位置。

• -service_account_name用于通过服务帐户而不是您的个人用户帐户来验证计划的查询。注意：将服务帐户与计划查询一起使用是beta版。bq mk \--transfer_config \--project_id = project_id \--target_dataset =数据集\--display_name =名称\--params ='参数'--data_source =数据源

例如，如果要设置24小时计划，则应使用-schedule='every 24 hours'您可以找到时间语法here

的完整参考

希望对您有帮助