无法将Python 3设置为MacOS中Apache spark的默认版本

Question

我一直在尝试将Python 3作为我的Macbook中Spark的默认版本，但它没有设置。由于这个原因，我无法运行我的程序。

这是我在Pycharm中遇到的错误

“例外：worker中的Python与驱动程序3.7中的版本不同，PySpark不能运行不同的次要版本。请检查环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON是否正确设置。

你能帮帮我吗？

Answer 1

只需设置环境变量：

export PYSPARK_PYTHON=python3

如果您希望将其作为永久性更改，请将此行添加到pyspark脚本中。如果无法访问python3，则需要将路径传递给它。