将 Spark 作业提交到 dataproc

Question

当我将着色 JAR 提交到本地独立集群时，它工作正常。但是，当我将其提交到 Dataproc 集群时，即使该类存在于 Maven 依赖项中，我也会遇到错误“java.lang.NoClassDefFoundError”。

为什么会出现这种情况？

Answer 1

尝试将 JAR 复制到 GCS 存储桶，并在提交作业时将其包含在 --jar 参数中。