初始化app时没有该文件或目录

Question

我正在EKS上向YARN提交一个spark应用程序，我将展示我认为的相关配置。

spark.yarn.stagingDir: file:///project/fs/apps/spark

当我提交应用程序时，我得到以下信息：

org.apache.hadoop.util.Shell$ExitCodeException：chmod：无法访问'/project/fs/apps/spark/subprojectname/.sparkStaging/application_1728900890114_0014'：没有这样的文件或目录

当我以

root

用户身份 ssh 到资源管理器和节点管理器（这是 env var CORE_CONF_hadoop_http_staticuser_user_user 的值）时，我可以访问共享 fs

/project/fs/apps/spark/

，所以我没有看到问题.

我对 YARN 不太了解，创建 Spark 应用程序暂存目录的过程是什么：

.sparkStaging/application_1728900890114_0014

？

因为显然该进程无法创建目录。

我知道我没有发布太多信息，但该应用程序很大，我不知道还有哪些相关的附加信息。

Answer 1

解决了，所以问题基本上是我有以下设置：

park.hadoop.fs.defaultFS: s3a://a-bucket-in-my-account

所以 stagingDir 配置应该指向 s3 而不是共享 FS
曾经：

spark.yarn.stagingDir: file:///project/fs/apps/spark

应该是：

spark.yarn.stagingDir: s3a://a-bucket-in-my-account/project/fs/apps/spark