Java Spark 地图为空

Question

java Spark数据集中有一列类型为map，如何使用java Spark检查该映射的列是否为空或具有某些值。

我想过滤列map_col具有空值的数据集，并且map_col是Java Map类型。 dataset1=dataset2.filter(col("map_col").isEmpty())

Answer 1

您可以使用 org.apache.spark.sql.functions 中的 size() 函数来检查 Map 的大小并根据您的需要对其进行过滤

例如：

DataSet<Row> myDataSet = /* Your data */;
DataSet<Row> filteredData = myDataSet.filter(size(col("map_col")).equalTo(0);