在没有实际 Tensor Core 的情况下如何运行 Tensor Core 指令？

Question

我正在使用 CUDA 的 WMMA API 在 GTX 1660 Ti 上乘以片段。该GPU没有Tensor Core，但是当我查看为我的代码生成的SASS时，我看到HMMA.1688.F32指令，它们是Tensor Core指令！怎么会这样？

相关资料：

• NVIDIA 确认我的显卡没有 Tensor Core：https://www.nvidia.com/en-eu/geforce/10-series/（比较 GTX 10、GTX 16 和 RTX 20 系列的技术特性表）。
• HMMA.1688.F32 指令链接到 Tensor Core 单元：
  • https://developer.download.nvidia.com/video/gputechconf/gtc/2019/presentation/s9839-discovering-the-turing-t4-gpu-architecture-with-microbenchmarks.pdf
  • https://ieeexplore.ieee.org/document/9139835（需要账号才能访问，但更详细）

Answer 1

为了代码二进制兼容性，图灵家族的“非张量核心”成员在 SM 中拥有硬件，该硬件将处理张量核心指令，尽管与张量核心单元相比吞吐量相对较低。 这适用于任何源自或基于 TU116 或 TU117 GPU 的 GPU 变体（例如 GeForce、Quadro）。