无法在virtualenv中加载pyspark

Question

我在python virtualenv中安装了pyspark。我还安装了jupyterlab，这是在virtualenv中新发布的http://jupyterlab.readthedocs.io/en/stable/getting_started/installation.html。我无法在jupyter-notebook中解雇pyspark，因为我可以使用SparkContext变量。

Answer 1

首先解雇virtualenv

source venv/bin/activate
export SPARK_HOME={path_to_venv}/lib/python2.7/site-packages/pyspark
export PYSPARK_DRIVER_PYTHON=jupyter-lab

在此之前，我希望你已经完成了：你的virtualenv中的pip install pyspark和pip install jupyterlab

要检查，一旦你的jupyterlab打开，在jupyterlab的一个框中输入sc你应该有SparkContext对象可用，输出应该是这样的：

SparkContext
Spark UI
Version
v2.2.1
Master
local[*]
AppName
PySparkShell

Answer 2

您需要使用virtualenv导出$ PYSPARK_PYTHON

export PYSPARK_PYTHON={path/to/your/virtualenv}/bin/python

这解决了我的情况。