我必须在.csv文件中打印数据集,但条件是
1)如果数据集为空,那么我只能在csv文件中打印标题(带有管道定界符的列名)像
ID | FIRSTNAME | LASTNAME | GRADE
2),并且如果数据集不为空,则打印头包含csv文件中的数据
需要第一点的解决方案
第二点正在使用此代码
dataset.toDF().coalesec(1).write().format("csv")
.option("delimiter","|")
.option("header","true")
.option("nullValue",null)
.mode(Savemode.Overwrite)
.save("path");
这是OSS的错误,已在Spark 3版本中修复。
这是有关此问题的吉拉票
https://issues.apache.org/jira/browse/SPARK-26208
这里是对修复程序的请求,将被合并