在 Google Colab 笔记本上安装 RAPIDS 库

Question

我想知道是否可以在 Google Colaboratory 笔记本中安装 RAPIDS 库（完全在 GPU 上执行机器学习任务）？

我做了一些研究，但我无法找到方法。

Answer 1

现在可以通过新的 T4 实例实现这一点 https://medium.com/rapids-ai/run-rapids-on-google-colab-for-free-1617ac6323a8

要也启用 cuGraph，您可以将 wget 命令替换为：

！conda install -c nvidia/label/cuda10.0 -crapidsai/label/cuda10.0 -c pytorch \ -c numba -c conda-forge -c numba -c 默认值 \ 升压 cudf=0.6 cuml=0.6 python=3.6 cugraph=0.6 -y

Answer 2

2019 年 12 月更新

RAPIDS v0.11+ 的新流程

因为

• RAPIDS v0.11 具有依赖项 (pyarrow) 先前的安装脚本未涵盖，
• notebooks-contrib 存储库，其中包含 RAPIDS 演示笔记本（例如 colab_notebooks）和 Colab 安装脚本，现在遵循 RAPIDS 标准版本特定分支结构*
• 一些 Colab 用户仍然喜欢 v0.10，

我们尊敬的笔记本贡献者taureandyernv已经更新了脚本，现在：

如果运行 v0.11 或更高版本，请将 pyarrow 库更新到 0.15.x。

这是在 v0.11 的 Colab 中运行的代码单元：

# Install RAPIDS
!wget -nc https://raw.githubusercontent.com/rapidsai/notebooks-contrib/890b04ed8687da6e3a100c81f449ff6f7b559956/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

dist_package_index = sys.path.index("/usr/local/lib/python3.6/dist-packages")
sys.path = sys.path[:dist_package_index] + ["/usr/local/lib/python3.6/site-packages"] + sys.path[dist_package_index:]
sys.path
if os.path.exists('update_pyarrow.py'): ## This file only exists if you're using RAPIDS version 0.11 or higher
  exec(open("update_pyarrow.py").read(), globals())

有关设置 Colab 和实现此脚本的详细信息，请参阅如何在 Google Colab 中安装 RAPIDS

-* 例如v0.11 为 branch-0.11，v0.12 为 branch-0.12，默认设置为当前版本

Answer 3

看起来各种子部分还不能通过 pip 安装，因此将它们放在 colab 上的唯一方法是在 colab 上构建它们，这可能比您有兴趣投资于此要付出更多的努力:) https://github.com/rapidsai/cudf/issues/285是rapidsai/cudf需要注意的问题（大概其他rapidsai/库也会效仿）。

Answer 4

最新解决方案；

!wget -nc https://github.com/rapidsai/notebooks-extended/raw/master/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

sys.path.append('/usr/local/lib/python3.6/site-packages/')
os.environ['NUMBAPRO_NVVM'] = '/usr/local/cuda/nvvm/lib64/libnvvm.so'
os.environ['NUMBAPRO_LIBDEVICE'] = '/usr/local/cuda/nvvm/libdevice/'

几天前推送，请参阅问题 #104 或 #110，或完整的

rapids-colab.sh

script 了解更多信息。

注意：安装当前需要 Tesla T4 实例，可以通过以下方式进行检查：

# check gpu type
!nvidia-smi

import pynvml

pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
device_name = pynvml.nvmlDeviceGetName(handle)

# your dolphin is broken, please reset & try again
if device_name != b'Tesla T4':
  raise Exception("""Unfortunately this instance does not have a T4 GPU.
    
    Please make sure you've configured Colab to request a GPU instance type.
    
    Sometimes Colab allocates a Tesla K80 instead of a T4. Resetting the instance.

    If you get a K80 GPU, try Runtime -> Reset all runtimes...""")
  
# got a T4, good to go 
else:
  print('Woo! You got the right kind of GPU!')