Spark write 方法抛出 IO 异常 - mkdirs 无法创建文件

Question

我当前正在运行一个 pyspark 程序，该程序尝试将 parquet 文件写入网络驱动器上的本地文件系统文件夹。但程序在写入 parquet 文件时抛出错误。但是，从同一文件夹读取 parquet 文件工作正常，并且程序能够写入 Spark 文件夹所在的 C 驱动器。

用户对网络驱动器文件夹具有读写权限。

配置已设置为本地模式： SparkSession.builder.master("local[4]").appName("write_Sample").getOrCreate()

有谁知道可能是什么问题吗？

Answer 1

请验证文件系统权限，确保 Spark 应用程序对目标目录具有必要的读写权限。还要验证 Spark 应用程序中的文件系统配置，尤其是 HDFS 等分布式文件系统。 检查目标目录是否有足够的可用空间来容纳正在写入的数据。