Oozie和输入事件

问题描述 投票:0回答:1

我们在Cloudera上有标准的日常摄取工作流。我正在寻找一种方法来重现一些原生AWS行为,当spark作业在使用ozie创建文件时被触发。 我发现了输入事件,在那里你可以指定检查给定文件是否存在的条件。只要不需要在同一天内再次运行我的工作流,这将会很好地工作(例如,日常输入数据被破坏并再次创建,我的摄取工作流必须再次执行)。有什么办法可以解决这个问题吗?我们考虑的另一个方案是使用API来触发工作流,这听起来是一个更简单的解决方案。

cloudera oozie oozie-coordinator
1个回答
© www.soinside.com 2019 - 2024. All rights reserved.