我正在尝试用python设置我的环境。我得到一个带有Ubuntu 14.04 Desktop的虚拟机,然后我安装了火花版1.6.2,现在我很难配置python版本3.5。
我目前的pyspark运行方式如下:
我可用的python版本是-ls / usr / bin / | grep python
我尝试编辑.bashrc文件以添加变量PYSPARK_PYTHON
非常感谢您的支持
最后删除pyspark
,你会很好
export PYSPARK_PYTHON=/usr/bin/python3.5
尽管设置它会更好
$SPARK_HOME/conf/spark-env.sh