如何在Databricks集群中安装numpy包

Question

我正在使用

umap

和

hdbscan

包进行聚类。

使用

umap

包时，需要

numpy 1.20

和更少的版本。在我的 databricks 集群中，numpy 版本是

1.21.0.

我尝试了所有选项，例如使用

sudo, pip, pip3

最新版本卸载并使用

pip, pip3, --upgrade numpy==1.19.2

安装

仍然显示 numpy 版本 1.21.0。

请建议我任何其他选项来解决此软件包版本相关问题？

Answer 1

您可能使用了错误的

pip

，在具有多个 Python 版本的系统中这种情况经常发生。我建议您使用 pip 作为您使用的 Python 中的模块，例如：

python -m pip install numpy==1.21.0

或者考虑使用

which

来确保您使用

pip

来获取正确的

python

二进制文件。

Answer 2

您需要使用

%pip install numpy==<version>

命令 - 它将负责将库安装到所有节点，并重新启动 Python 解释器（请参阅 docs）。 但请考虑到这可能会破坏依赖于特定版本的 numpy 的其他库。

但是非常有趣的是，您拥有 1.21.0 - 如果您检查 Databricks Runtimes 的发行说明，您可以看到所有最新版本都有 1.19.2。

Answer 3

您无法使用新版本替换 Databricks 集群中的现有库。