Pytorch：如果 PYTORCH_NO_CUDA_MEMORY_CACHING=1，torch.cuda.memory_allocated() 返回 0

Question

我的 GPU 内存中显然分配了张量。当我将 PYTORCH_NO_CUDA_MEMORY_CACHING 环境变量转回 0 时，它看起来工作正常。这是一个错误吗？

我已经阅读了pytorch有关内存管理的文档，但我仍然不明白。

Answer 1

在 Pytorch 论坛上找到了答案：

禁用缓存分配器是一个调试功能和一些实用程序 不起作用，例如 CUDA Graph。您可以提出修复建议，以防万一 有兴趣查看已用内存统计信息。