Win 11 上用于深度学习 wsl 的 GPU

Question

我看到 Windows 识别两个 GPU，我看到附加的输出。对于 Disp.A 它炫耀。我假设 gpu.1 没有被用于显示。但是当我运行我的 T5 模型（pytorch） 时，它会抛出一个错误，提示 CUDA 试图分配 20MB 但没有可用内存（OutOfMemoryError：CUDA 内存不足。尝试分配 20.00 MiB（GPU 0；总共 8.00 GiB容量；已分配 7.36 GiB；0 字节空闲；PyTorch 总共保留 7.36 GiB）如果保留内存 >> 已分配内存，请尝试设置 max_split_size_mb 以避免碎片。请参阅内存管理和 PYTORCH_CUDA_ALLOC_CONF 文档 ).当我从 wsl（使用 conda）运行 nvidia-smi 时，我看到第二个 GPU 内存完全空闲。如何确保模型同时使用两个 GPU？

Answer 1

检查这个，它现在对我有用。 在 stackoverflow 上找到这个解决方案

确保 batchsize 低，并使用 t5-base 作为预训练模型。