当更改源数据时,请火花检查点无效?

问题描述 投票:0回答:0
带有中间RDDS检查点

BC

如果源数据更改(例如,添加了新数据),是否会重新计算?
如果不是,是设置检查点目录的标准方法,例如时间戳还是其他?

I确实考虑了

Spark检查点行为
但是答案仅涵盖了代码更改。
	

没有。检查点B和C是快照,以避免在Spark App中发生故障的情况下避免从源A重新计算。

相关,源的变化是无关紧要的,如果没有故障,是否应用了检查点,则无法识别。如果发生故障并且没有检查点,则根据源的类型,可以读取更新的更改数据,但每个火花阶段都可以整齐地处理。

apache-spark pyspark
最新问题
© www.soinside.com 2019 - 2024. All rights reserved.