'DataStreamWriter'对象没有属性'foreach'-pyspark

Question

我正在pyspark中使用结构化流进行情感分析。我正在尝试将我的预测显示为：

def process_row(row):
   ....

query1 = prediction.writeStream.outputMode("update").format('console').foreach(process_row).start()

query1.awaitTermination()

我收到以下（无意义）错误：AttributeError：'DataStreamWriter'对象没有属性'foreach'

预测模式为：

root
 |-- prediction: double (nullable = false)
 |-- count: long (nullable = false)

这里是什么问题？

Answer 1

tl; dr至少使用Spark 2.4.0。

根据official documentation运算符的foreach，它是“ 2.4版的新功能。”