我们可以从多任务databricks job工作隔离执行单个任务

问题描述 投票:0回答:2

我们可以从多任务数据链助攻隔离执行一个任务吗?

databricks azure-databricks aws-databricks
2个回答
0
投票

手动?如Anupam所述,您应该能够使用Jobs UI上可用的维修功能。每次修复特定任务时,您还可以指定不同的参数,以使您要处理的数据集更精确。

如果您希望以编程为触发它,那么它取决于。这是几个场景。

如果需要经常触发这对任务,则将它们包含在新工作中可能是有意义的。

如果需要在多个任务工作中因失败而触发它们,则可以考虑在任务本身内进行重试。

yyes(除非我误解了您的问题,这不是不太可能的)。

在触发工作(

-1
投票

Submit

)的命令中,您应该考虑执行此作业的数据。毕竟,执行作业应该有目的,在Apache Spark中,此目的是数据处理。 使用RDD变换描述了Apache Spark中的DATA处理。您应该先有一个RDD。

任务的数量正是RDD分区的数量。 ,而且,随着上述所有内容,我敢肯定,无论您在Spark应用程序的其他部分中发生的任何事情,如何执行单个火花作业。您只需要拥有一个单分区的RDD,一旦调用了一个动作,它将触发单个任务,并从其他任务中进行完整隔离。 我认为我确实误解了这个问题,因为“多任务databricks job”

似乎暗示了Databricks的作业(不是Spark Jobs)。我留下答案,直到听到op。

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.