我真的很挣扎于这个错误,每当我尝试执行以下操作时,我都会遇到这个错误。我也尝试了旧链接中提供的所有建议,但徒劳无功。
spark_write_csv(final_data_3,path = "mypath",header = T,mode = "overwrite",infer_schema=F)
Spark 2.4.0 S3 MultiObjectDeleteException
我正在阅读类似问题的旧答案,它建议它应该低于设置中的配置以避免此错误。
我添加了这个,并且我还在脚本中使用 true 代替 false,但仍然遇到相同的错误。
hconf %>% sparklyr::invoke("set","fs.s3a.multiobjectdelete.enable","false")
我们能找到这个问题的根本原因吗?