在 Spark 结构化流处理期间重命名 Spark UI 中的 jobId

Question

我能够使用

setJobDescription

重命名 SparkUI 中的作业描述，仅购买我的预处理数据被重命名（缓存数据集），但主要作业/阶段未重命名

例如：
我的缓存阶段：

但是我的流作业没有重命名：

我的流媒体工作中也有同样的事情，在舞台级别：

有办法做到吗？

Answer 1

我相信您要寻找的是设置 queryName 属性

sourceData.writeStream()
   .queryName(queryName)
   ...
   .start()
   .awaitTermination();

尝试一下。