在Spark Java中具有空数据集的带有标题(列名)的csv打印csv文件

问题描述 投票:0回答:1

我必须在.csv文件中打印数据集,但条件是

1)如果数据集为空,那么我只能在csv文件中打印标题(带有管道定界符的列名)

ID | FIRSTNAME | LASTNAME | GRADE

2),并且如果数据集不为空,则打印头包含csv文件中的数据

需要第一点的解决方案

第二点正在使用此代码

dataset.toDF().coalesec(1).write().format("csv")
   .option("delimiter","|")
   .option("header","true")
   .option("nullValue",null)
   .mode(Savemode.Overwrite)
   .save("path");
java csv apache-spark bigdata spark-java
1个回答
0
投票

这是OSS的错误,已在Spark 3版本中修复。

这是有关此问题的吉拉票

https://issues.apache.org/jira/browse/SPARK-26208

这里是对修复程序的请求,将被合并

https://github.com/apache/spark/pull/23173

© www.soinside.com 2019 - 2024. All rights reserved.