按列数列过滤Scala数据帧

Question

我的scala数据框有一个数据类型为array（element: String）的列。我想显示那个列中包含单词“hello”的数据帧行。

我有这个：

display(df.filter($"my_column".contains("hello")))

由于数据不匹配，我收到错误。它说argument 1 requires string type, however, 'my：column' is of array<string> type。

Answer 1

你可以使用array_contains功能

import org.apache.spark.sql.functions._

df.filter(array_contains(df.col("my_column"), "hello")).show