如何在spark scala中使用带有2列的array_contains？

Question

我有一个问题，我想检查一个字符串数组是否包含另一列中的字符串。我目前正在使用下面的代码，它给出了一个错误。

.withColumn("is_designer_present", when(array_contains(col("list_of_designers"),$"dept_resp"),1).otherwise(0))

错误：

java.lang.RuntimeException: Unsupported literal type class org.apache.spark.sql.ColumnName dept_resp
  at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:77)

Answer 1

你可以写一个udf函数来完成你的工作

import org.apache.spark.sql.functions._
def stringContains = udf((array: collection.mutable.WrappedArray[String], str: String) => array.contains(str))
df.withColumn("is_designer_present", when(stringContains(col("list_of_designers"), $"dept_resp"),1).otherwise(0))

您可以从udf函数本身返回适当的值，这样您就不必使用when函数

import org.apache.spark.sql.functions._
def stringContains = udf((array: collection.mutable.WrappedArray[String], str: String) => if (array.contains(str)) 1 else 0)
df.withColumn("is_designer_present", stringContains(col("list_of_designers"), $"dept_resp"))

Answer 2

您可以使用explode在没有UDF的情况下执行此操作。

.withColumn("exploCol", explode($"dept_resp"))
.withColumn("aux", when($"exploCol" === col("list_of_designers"), 1).otherwise(0))
.drop("exploCol")
.groupBy($"dep_rest") //all cols except aux
  .agg(sum($"aux") as "result")

然后你去，如果结果> 0那么“dept_rest”包含值。