我正在编写一个spark应用程序并使用spark-submit shell脚本运行它(使用yarn-cluster / yarn-client)
正如我现在看到的,spark-submit的退出代码是根据相关的纱线应用决定的 - 如果SUCCEEDED状态为0,否则为1。
我想要选择返回另一个退出代码 - 对于我的应用程序成功发生一些错误的状态。
可能吗?从应用程序返回不同的退出代码?
我试过使用System.exit()但没有成功......
谢谢。
可以在客户端模式下使用,但不能在群集模式下使用。您有一个集群模式的解决方法。
我对这个question的回答应该对你有帮助。
如果您在群集模式下运行,则spark-submit会立即将提交ID作为json的一部分返回,并且不会等待应用程序状态。在此之后,您可以通过查询状态
spark-submit --status [submission ID]
如果在本地或独立模式下运行,您应该能够从spark-submit进程获取退出代码。