更改火炬类型如何影响表现和学习?

问题描述 投票:0回答:2

我想修改pytorch测试不同的数据类型,现在我使用torch.float32,因为它是默认值,使用torch.float16甚至torch.int16(如果是torch.int16)代码和神经网络训练和推理会表现得更好吗可能吗?

python deep-learning pytorch
2个回答
0
投票

您可以查看混合精度训练


0
投票

一个称为量化的研究领域致力于减少模型大小,以便它可以用于边缘设备上的推理。

它真正做的是将 32 位权重转换为 8 位权重,这会减小模型的大小,但准确性也会受到影响,因为当值通过激活传递时,它们会发生变化。

量化可以在训练时和训练后进行。许多人更喜欢进行后期训练,然后使用已构建的大型模型的测试数据进行校准

对于训练中量化,我建议您研究一下 TensorFlow 和 pytorch 上可用的量化感知训练

© www.soinside.com 2019 - 2024. All rights reserved.