Pyspark：使用 Spark-submit 运行文件时执行 Jupyter 命令时出错

Question

我能够运行 pyspark 并在 Jupyter 笔记本上运行脚本。 但是当我尝试使用 Spark-submit 从终端运行文件时，出现此错误：

执行 Jupyter 命令时出错文件路径 [Errno 2] 没有这样的文件或目录

谁能帮我看看我的配置有什么问题吗？

我正在使用 Python 2.7 和 Spark 1.6

Answer 1

出现这些问题是因为您设置了 jupyter 来运行 pyspark 脚本。 现在你应该取消设置

PYSPARK_DRIVER_PYTHON

变量命令，同样是

$ unset PYSPARK_DRIVER_PYTHON

然后再次尝试 Spark-submit

./bin/spark-submit examples/src/main/python/streaming/network_wordcount.py localhost 9999

。

Answer 2

@Shubham 的解决方案解决了我的问题：“Jupyter 命令 jupyter-spark_simple.py 未找到。”

unset PYSPARK_DRIVER_PYTHON