如何在 Google Cloud Scheduler 上安排 Cron 作业？

Question

背景

我已将当前在本地 ubuntu 实例上运行的机器学习推理批处理作业容器化为 cron 作业。基本上，cron 作业运行（还有其他几行，但这是核心）

docker run $IMAGE

这使用 python 执行一些推理。

挑战

我想使用 GCP 基础设施将这项工作迁移到云端，但对于使用哪个服务以及如何使用有点困惑。 Google 客户团队的某人最初建议使用 Google Batch，但经过一番研究后我意识到 Batch 根本无法支持 cron 作业。然后一些论坛/教程似乎支持Google云调度程序。但进一步阅读后，如果我点击 http 端点，它们似乎会触发作业。 （这意味着必须使用我的本地基础设施将 http 端点建立为 cron 作业？但为什么有人会使用它？）

因此想向 SOF 社区询问什么是合适的 Google 服务来运行 cron 作业，而无需我自己管理实例（并保持 24*7）。

有关信息，我已经将

$IMAGE

推送到了 Google artefact 注册表。所以我需要谷歌的是使用以下 cron 表达式运行图像。

30 0 * * *

更多详细信息（基于评论）

我在 google artefact 注册表中有一个 docker 镜像。图像的最后一行是

# Run the script at container boot time.
CMD ["./run_manager.sh"]

此

run_manager.sh

使用张量流执行特征工程、模型训练+推理，并将结果保存在适当的数据库中。整个过程大约需要 20-25 分钟才能运行，然后容器终止。 我需要每天运行这项工作，比如说每天上午 12.30。目前我已将其设置为本地 Ubuntu 实例上的 cron 作业。

要求

利用 Google 云来执行此操作，而无需仅为了一项作业而保持虚拟机 24*7 运行。我想要的行为是我提供的 Google 云服务

• artefact 注册表中的artefact URL
• cron 表达式（或类似的东西）

然后 GCP 负责根据 cron 表达式运行工件/容器？

这里没有网络服务，没有http端点，没有发布-订阅。只是一个 cron 作业。

Answer 1

利用 Google 云来执行此操作，而无需仅为了一项作业而保持虚拟机 24*7 运行。

在这种情况下，您可以考虑使用实例计划，通过它您可以在每天的特定时间启动和停止虚拟机。

您可以按照以下步骤创建实例计划：

1. 在 Google Cloud 控制台中，转到虚拟机实例页面。

2. 转到虚拟机实例

3. 单击页面顶部的实例计划选项卡。

   注意：如果没有看到此选项，请先创建虚拟机实例。

4. 单击 date_range 创建计划。创建计划窗格将打开。

5. 输入名称。

6. 在区域下拉菜单中，选择此实例计划的位置。

7. 定义实例计划何时启动和停止任何附加的虚拟机实例。如果您需要在特定时间启动或停止虚拟机实例，请比需要提前 15 分钟安排操作。确保每次启动和停止操作间隔至少 15 分钟。

8. 使用默认的开始时间、停止时间和频率字段，或者，如果您想配置更复杂的计划，请使用 cron 表达式。

   默认字段：输入开始时间、停止时间或两者。

   在“开始时间”字段中，输入或单击 access_time 以选择启动 VM 实例的时间。

   在“停止时间”字段中，输入或单击 access_time 以选择停止 VM 实例的时间。在窗格底部的频率下拉菜单中，选择开始时间和停止时间重复的频率。

9. 如果你想使用 Cron 表达式：

   要启用 cron 表达式，请单击窗格顶部的“使用 CRON 表达式”开关。

   输入启动 CRON 表达式、停止 CRON 表达式或两者。

   在启动 CRON 表达式字段中，输入描述何时启动 VM 实例的 cron 表达式。

   在停止 CRON 表达式字段中，输入描述何时停止 VM 实例的 cron 表达式。

10. 在时区下拉菜单中，选择开始时间和停止时间的时区。

11. 点击提交。

根据创建实例计划时指定的时间，您的

VM

将启动，

cron job

将运行，最后

VM

将停止。

有关更多详细信息，请查看此公共文档、此StackOverflow线程和本文。