Instant.now() 传入 spark forEachBatch 函数未更新

问题描述 投票:0回答:0
output
.writeStream()
*.foreachBatch(new function(name, Instant.now()))*
.outputMode("append")
.option("checkpointLocation", "/path/")
.start();

传入 foreachBatch 的 Instant.now() 不会为每个微批处理更新,相反它只需要从第一次部署 spark 作业开始的时间。我在这里错过了什么?

apache-spark pyspark spark-streaming
最新问题
© www.soinside.com 2019 - 2024. All rights reserved.