Spark 流“initialPosition”与“startingPosition”?

问题描述 投票:0回答:1

spark 流中的

initialPosition
startingPosition
有什么区别?我已经阅读了 Spark 文档、Delta 表文档、O'Reilly 指南……他们提到了两者,但没有提到它们之间的区别

apache-spark pyspark streaming delta-lake
1个回答
0
投票

initialPosition:流作业第一次启动时使用,也决定了开始读取数据的初始偏移量。

startingPosition:当流作业在失败或手动重启后重新启动时使用,还确定重新启动后恢复处理的偏移量。

© www.soinside.com 2019 - 2024. All rights reserved.