我们可以从多任务数据链助攻隔离执行一个任务吗?
手动?如Anupam所述,您应该能够使用Jobs UI上可用的维修功能。每次修复特定任务时,您还可以指定不同的参数,以使您要处理的数据集更精确。
如果您希望以编程为触发它,那么它取决于。这是几个场景。
如果需要经常触发这对任务,则将它们包含在新工作中可能是有意义的。如果需要在多个任务工作中因失败而触发它们,则可以考虑在任务本身内进行重试。
yyes(除非我误解了您的问题,这不是不太可能的)。
在触发工作(Submit
)的命令中,您应该考虑执行此作业的数据。毕竟,执行作业应该有目的,在Apache Spark中,此目的是数据处理。 使用RDD变换描述了Apache Spark中的DATA处理。您应该先有一个RDD。任务的数量正是RDD分区的数量。 ,而且,随着上述所有内容,我敢肯定,无论您在Spark应用程序的其他部分中发生的任何事情,如何执行单个火花作业。您只需要拥有一个单分区的RDD,一旦调用了一个动作,它将触发单个任务,并从其他任务中进行完整隔离。 我认为我确实误解了这个问题,因为“多任务databricks job”
似乎暗示了Databricks的作业(不是Spark Jobs)。我留下答案,直到听到op。