如何从iPython界面找出pyspark的内存量？

Question

我用命令启动了

IPYTHON=1 MASTER=local[4] pyspark

Spark 用

向我打招呼

Welcome to spark, version 1.2.1
SparkContext availabel as sc. 

但是使用 sc，我无法找到它的内存。如何找到这一点，如果可能的话，如何将其设置为另一个值。

Answer 1

您可以像这样查询SparkContext的配置：

sc._conf.get('spark.executor.memory')

或者，如果您对驾驶员的记忆感兴趣：

sc._conf.get('spark.driver.memory')

完整的配置可以通过

查看为元组列表

sc._conf.getAll()

Answer 2

@karlson 的回答很棒，您也可以使用 Spark UI。

• 启动 Spark UI：启动 Spark 应用程序时，通常会启动一个 Web 界面。
• 导航到“执行器”选项卡：此选项卡提供有关运行应用程序的执行器的信息，包括它们的内存使用情况。您可以查看分配给每个执行器的总内存，以及不同组件使用的内存，例如 JVM 堆、存储和其他开销。