连续处理模式和python udf

Question

Spark 2.4.0是否支持具有连续处理模式的Python UDF？

在我的简单代码中，我正在使用kafka主题，每行执行一些简单的处理（基本上将一个虚拟字段添加到json消息）并写出另一个主题。

但是当我使用连续模式触发时，我在输出主题中看不到任何消息。如果我不使用python udf，那么它工作正常。

编辑：这个bug report（与这篇文章无关）报告缺乏支持。

Answer 1

虽然我没有尝试过自己，但我不相信。 documentation列出了支持的操作; udfs不在列表中。