Spark 结构化流可用，失败时触发结束偏移？

Question

我想知道当使用AvailableNow 触发器并且查询期间出现查询失败时，spark 结构化流应该有什么行为？更具体地说，初始结束偏移集会发生什么？它会改变吗？虽然很明显使用检查点查询会从中断处恢复，但是结束偏移量会发生什么？在某种程度上，这几乎等于问 Spark 结构化流是否会在失败和查询结束之间产生影响？

Answer 1

很少阅读，所以...好问题。

非常简单！实际上，只有当所有处理在所有触发模式下成功完成时，偏移量才会更新。这里不考虑连续模式。

下一次调用会导致重新处理，因此您需要幂等接收器或中介。