为emr上的`spark-submit`作业指定marksweep gc

Question

在emr上运行spark-submit作业时，如何指定我希望jvm使用MarkSweep gc？我可以提交作业（即spark-submit -- conf...），如果是，那么命令是什么？这是否必须由spark启动时设置，如果是，我如何在emr配置中指定？

谢谢！

Answer 1

您可以在--conf "spark.driver.extraJavaOptions=<YourJavaOptionsHere>"之后的spark-submit中指定JVM选项。

例如，使用ParallelScavenge GC运行graphX的PageRank示例将如下所示：

spark-submit run-example --conf "spark.driver.extraJavaOptions=-XX:+UseParallelGC" graphx.PageRankExample

更多信息请访问https://spark.apache.org/docs/latest/configuration.html#runtime-environment