我正在运行下面的 spark submit 命令,并收到一条错误消息
cannot load main class from jar file:/path/to/dependency.zip
我很难理解为什么它在 zip 文件中寻找主类,因为我提供了 application.py
,它有主类?我在这里错过了什么?感谢您的帮助
spark-submit \
--master yarn \
--deploy-mode cluster \
--pyfiles "/path/to/something.zip","/path/to/dependency.zip" \
application.py "arg1" "arg2"