sparklyr 中的“Spark 2.4.3 S3 MultiObjectDeleteException”

问题描述 投票:0回答:1

我真的很挣扎于这个错误,每当我尝试执行以下操作时,我都会遇到这个错误。我也尝试了旧链接中提供的所有建议,但徒劳无功。

spark_write_csv(final_data_3,path = "mypath",header = T,mode = "overwrite",infer_schema=F)

这是我得到的错误

Spark 2.4.0 S3 MultiObjectDeleteException 

我正在阅读类似问题的旧答案,它建议它应该低于设置中的配置以避免此错误。

我添加了这个,并且我还在脚本中使用 true 代替 false,但仍然遇到相同的错误。

hconf %>% sparklyr::invoke("set","fs.s3a.multiobjectdelete.enable","false")

有解决此错误的建议吗?

python r apache-spark pyspark sparklyr
1个回答
-1
投票

我们能找到这个问题的根本原因吗?

© www.soinside.com 2019 - 2024. All rights reserved.