我想修改pytorch测试不同的数据类型,现在我使用torch.float32,因为它是默认值,使用torch.float16甚至torch.int16(如果是torch.int16)代码和神经网络训练和推理会表现得更好吗可能吗?
您可以查看混合精度训练
一个称为量化的研究领域致力于减少模型大小,以便它可以用于边缘设备上的推理。
它真正做的是将 32 位权重转换为 8 位权重,这会减小模型的大小,但准确性也会受到影响,因为当值通过激活传递时,它们会发生变化。
量化可以在训练时和训练后进行。许多人更喜欢进行后期训练,然后使用已构建的大型模型的测试数据进行校准
对于训练中量化,我建议您研究一下 TensorFlow 和 pytorch 上可用的量化感知训练