Apachi Sedona NoClassDefFoundError：scala/collection/IterableOnce

Question

我正在尝试运行此代码：

spark = SparkSession.builder \
    .appName("SedonaTest") \
    .config("spark.jars.packages", "org.apache.sedona:sedona-spark-3.4_2.12:1.6.1,org.datasyslab:geotools-wrapper:1.6.1-28.2") \
    .getOrCreate()

sedona = SedonaContext.create(spark)

但是代码在

sedona = SedonaContext.create(spark)

失败，我收到此错误：

 Py4JJavaError: An error occurred while calling o112.sql.: java.lang.NoClassDefFoundError: scala/collection/IterableOnce

我检查了JAVA_HOME、SPARK_HOME路径； Spark-env.sh 、 .bashrc 文件，我还检查了 Scala、Java Spark 和 Sedona 的版本。没有冲突。

Answer 1

更新 Spark 配置以显式包含 Scala 库，例如：

pythonCopyspark = SparkSession.builder \
    .appName("SedonaTest") \
    .config("spark.jars.packages", 
        "org.apache.sedona:sedona-spark-3.4_2.12:1.6.1," +
        "org.datasyslab:geotools-wrapper:1.6.1-28.2," +
        "org.scala-lang:scala-library:2.12.15") \
    .getOrCreate()