运行spark提交时出现内存不足错误

Question

我正在尝试将60gb的表数据加载到spark python数据帧，然后将其写入配置单元表。

我已设置驱动程序内存，执行程序内存，最大结果大小足以处理数据。但是当我在命令行中提到的所有上述配置中运行Spark Submit时出现错误。

注意：通过spark python shell（通过在启动shell时指定驱动程序和执行程序内存），我能够填充目标配置单元表。

任何想法？

Answer 1

尝试使用语法：

./spark-submit --conf ...

对于与内存相关的配置。我怀疑您正在做的是-在初始化SparkSession时设置它们-变得无关紧要，因为那时内核已经启动。与您为运行Shell设置的参数相同。