NVIDIA GPU 上用于 CNN 模型推理的张量核心

Question

我希望利用 GPU 上的张量核心来执行一些 CNN 模型推理。 Pytorch、Tensorflow、MXNet 或任何相关框架等框架是否支持张量核心推理？

我听说张量核心可用于训练目的，因为 Pytorch 对其有内置支持。不确定是否可以对推理进行同样的操作。

Answer 1

所有框架都可以使用张量核心，假设 1. 你的 GPU 有张量核心，并且 2. 你的模型实际上可以利用张量核心（使用混合精度，所有 matmul 大小都是 8 的倍数等）。

对于 pytorch，您可以阅读更多这里