我试图在HPC服务器上创建自己的conda python环境,并且发生了一些非常奇怪的事情。
问题
在创建一个新的conda环境后,似乎python没有在这个环境中看到自己,并且使用基础环境...因此我不能使用在新环境中安装的软件包,但我可以看到基础环境中的软件包。 。
这就是我做的
我按如下方式安装我的环境:
$ conda create -n niml pip python=3.6.5
$ source activate niml
(niml) $ conda install -c conda-forge luigi
然后我检查我安装的包:
(niml) $ conda list
这是我得到的,非常基本的环境:
# Name Version Build Channel
botocore 1.10.61 py_0 conda-forge
ca-certificates 2018.4.16 0 conda-forge
certifi 2018.4.16 py36_0 conda-forge
docutils 0.14 py36_0 conda-forge
jmespath 0.9.3 py_1 conda-forge
libedit 3.1.20170329 h6b74fdf_2
libffi 3.2.1 hd88cf55_4
libgcc-ng 7.2.0 hdf63c60_3
libstdcxx-ng 7.2.0 hdf63c60_3
lockfile 0.12.2 py_1 conda-forge
luigi 2.7.6 py36_0 conda-forge
ncurses 6.1 hf484d3e_0
openssl 1.0.2o 0 conda-forge
pip 10.0.1 py36_0
pyparsing 2.2.0 py_1 conda-forge
python 3.6.5 hc3d631a_2
python-daemon 2.1.2 py36_0
python-dateutil 2.7.3 py_0 conda-forge
readline 7.0 ha6073c6_4
setuptools 39.2.0 py36_0
six 1.11.0 py36_1 conda-forge
sqlite 3.24.0 h84994c4_0
tk 8.6.7 hc745277_3
tornado 4.5.3 py36_0 conda-forge
wheel 0.31.1 py36_0
xz 5.2.4 h14c3975_4
zlib 1.2.11 ha838bed_2
然后我尝试运行python并导入我安装luigi
的软件包,它没有发现它出错。
(niml) $ python
>>> import luigi
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'luigi'
我也尝试导入基本环境中的numpy
,而不是在新环境中,它可以工作。
>>> import numpy
以上工作,这意味着python
认为它在基础环境中运行。
正在运行我自己环境中的Python
我检查了哪个python正在执行,它确实是新环境中的一个niml
:
>>> import sys
>>> sys.executable
'~/.conda/envs/niml/bin/python'
还从命令行检查,它是envrinment中的python
可执行文件:
(niml) $ which python
~/.conda/envs/niml/bin/python
我在HPC上运行
我之前已经创建了数百次anaconda环境,从未遇到过这个问题。唯一的区别是我使用HPC服务器,因此我不得不做这样的事情:
module load python/anaconda3
这是我从通常的工作流程中看到的唯一区别,可能会产生这个问题......
其他人之前已经看过这个问题并且能够解决它吗?
我试图解决类似的问题,并通过virtualenv而不是使用conda环境解决了这个问题。我相信Anaconda和你的机器之间存在冲突,因为他们都认为他们正在控制你的新环境,这在virtualenv中建立一个新的环境似乎已经解决了。
如果它有用,这里是如何使用virtualenv设置环境。如果您还没有新环境,请为其创建一个位置:
mkdir ~/virtualenvironment
设置您的虚拟环境:
virtualenv ~/virtualenvironment/niml/ --python=python3.6.5
激活您的环境:
source bin/activate
确保您已安装所需的任何软件包:
pip install luigi
检查包在python中是否正确导入:
python
import luigi
要停用:
source deactivate