为什么 CUDA 不包含在 Google Colab 中 GPU 运行时的 LD_LIBRARY_PATH 中？

Question

我正在 Google Collab VM 上安装 BitsandBytes，但它没有看到 CUDA 安装。我可以看到 CUDA 安装在默认目录中，但在尝试运行与 CUDA 安装相关的 MiniGPT-4 演示时抛出错误。

我可以轻松添加 CUDA 路径：

！导出 LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64

但是从 Jupyter 运行它实际上并没有附加路径。从 colab 终端运行会附加路径。我的问题实际上是，为什么bitsandbytes没有找到CUDA库，而且为什么我不能从Jupyter笔记本设置系统变量？这是划分问题吗？

Answer 1

我也遇到这个问题了！

试试这个：

!apt-get update
!apt-get install cuda-toolkit-11-8
import os
os.environ["LD_LIBRARY_PATH"] += ":" + "/usr/local/cuda-11/lib64"
os.environ["LD_LIBRARY_PATH"] += ":" + "/usr/local/cuda-11.8/lib64"

原始出处如下： https://github.com/bitsandbytes-foundation/bitsandbytes/issues/950#issuecomment-1879907394