如何安排Spark作业

Question

我正在使用Azure服务来运行pyspark作业。以下是我的步骤：

1. 我为pyspark作业创建了Docker映像。
2. 我正在呼叫AKS进行资源分配

我需要安排工作（应该在特定的日期和月份运行）。当我不熟悉Azure服务时，什么是更好的计划安排。

更新

1. 我创建了我的Spark作业，这些作业在AKS的Pod上运行。
2. 现在，我想按特定的频率安排这些广告连播（对时间选择没有限制。）>

我正在使用Azure服务来运行pyspark作业。下面是我的步骤：我为pyspark作业创建了Docker映像。我正在打电话给AKS进行资源分配，我需要...

Answer 1

我不确定，因为您的问题不太清楚，但是您可能希望在K8S中运行Cron Jobs：https://kubernetes.io/docs/concepts/workloads/controllers/cron-jobs/

Answer 2

要安排诸如Cron作业之类的Spark作业，可以使用Apache Airflow之类的技巧。尝试研究它。它是用Python编写的最好的调度框架之一。它是基于代码的，这意味着您必须使用python编写整个流程，然后您将获得一个简洁的DAG，它代表您计划的任务！