使用 GPU 的 ONNX 运行时推理：未找到 libcublasLt.so.11

Question

我尝试在我的服务器 GPU 上使用 ONNX 运行时运行推理。但是我收到此错误：

2024-08-10 23:53:29.404983674 [E:onnxruntime:默认，provider_bridge_ort.cc:1745 TryGetProviderInfo_CUDA] /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1426 onnxruntime::Provider& onnxruntime::ProviderLibrary: :获取() [ONNXRuntimeError] : 1 : FAIL : 无法加载库 libonnxruntime_providers_cuda.so 并出现错误：libcublasLt.so.11：无法打开共享对象文件：没有这样的文件或目录

查看我的服务器 cuda 文件后，我注意到我安装了 libcublasLt.so.12 而不是 11。我安装了最新版本的 ONNX-runtime 和 ONNX-runtime gpu。

我该如何解决这个问题？我在服务器上没有管理员权限，因此无法真正降级 cuda 或类似的东西。

Answer 1

您已经注意到您的 ort 需要 cuda 11 (libcublasLt.so.11)，但您当前的 cuda 版本是 12 (libcublasLt.so.12)。

您可以前往 ort cuda ExecutionProvider 检查您的 ort-cuda-cudnn 兼容性，找到最适合您系统的 ort 版本。