如何在结构化流中的pyspark中使用foreach运算符（失败的'DataStreamWriter'对象没有属性'foreach'）？

Question

我在pyspark 2.3.4中使用结构化流。

我正在尝试使用foreach运算符，如下所示：

query = prediction.writeStream.format('console').foreach(process_row).start()

我收到以下错误：

AttributeError：“ DataStreamWriter”对象没有属性“ foreach”

这里是什么问题？

Answer 1

tl; dr至少使用Spark 2.4.0。

根据official documentation运算符的foreach，它是

“ 2.4版的新功能。”