Databricks-Connect：缺少sparkContext

Question

我在使用最新版本的 databricks-connect (13.3.0) 时遇到问题。我想访问 SparkContext 并尝试它，因为它适用于 databricks-connect<13.0:

from databricks.connect import DatabricksSession
spark = DatabricksSession.builder.getOrCreate()
spark.sparkContext

但是，现在我收到错误：

pyspark.errors.exceptions.base.PySparkNotImplementedError：[NOT_IMPLMENTED] SparkContext（）未实现。

有人可以帮忙吗？

Answer 1

版本 13+ 中的 Databricks connect 基于 Spark Connect，不支持 RDD API 以及 SparkContext 等相关对象。这确实是记录已知的限制。

来自 Spark Connect 的 Apache 文档（Scala 部分）：

SparkContext 和 RDD 等 API 在所有 Spark Connect 版本中均已弃用。