GeForce GTX 1650 加速无需安装 CUDA 工具包？

Question

有没有办法在Windows电脑上不安装CUDA Toolkit的情况下使用GPU加速？

首先，我有一个pytorch模型，需要部署在windows电脑上。不安装CUDA工具包可以使用GPU吗？例如，通过使用 cudaRT.dll 文件或其他文件？

如果可以，请帮忙指导一下如何做？

尝试检查是否可以在未安装 cuda 工具包的情况下使用 pytorch 模型进行推理并使用 GPU。但还没想出办法。

Answer 1

我不知道在没有 CUDA 的情况下专门在 Windows 上运行

Pytorch

模型的方法 - 它只是与图形驱动程序一起安装的附加程序，您可以在 https://developer.nvidia.com 找到该程序/cuda-downloads（然后正确安装 Pytorch，来自 https://pytorch.org/）

也许有办法，但会很麻烦！

在 Linux 上，您可以使用 Pytorch 的

OpenCL

后端，它可能具有您需要实现的原语，例如 https://github.com/artyom-beilis/pytorch_dlprim

至于一般的加速任务，它是软件，所以如果有人编写了一个程序来完成它，当然。例如。 https://webllm.mlc.ai/

如果只是小型号，则不需要使用GPU加速，使用CPU即可。您甚至可以在浏览器中运行一些脱离 CPU 的小模型，例如。 https://github.com/elliotwaite/pytorch-to-javascript-with-onnx-js 和 https://whisper.ggerganov.com/talk/（运行 Whisper 用于语音识别，GPT2 用于推理，然后使用浏览器语音合成来跟你说话！）