直通估计器（STE）的概念[关闭]

Question

我在许多神经网络相关论文中看到了直通估计器（STE），例如这个和这个。但我无法理解这个概念。 我想知道是否有人可以解释一下STE。

Answer 1

直通估计器是一种估计神经网络中阈值操作梯度的方法。阈值可以像以下函数一样简单，

正如我们所见，该阈值函数的导数将为 0，并且在反向传播期间，网络不会学习任何内容，因为它获得 0 梯度并且权重不会更新。

直通估计器的概念是，将传入梯度设置为等于其传出梯度的阈值函数，而忽略阈值函数本身的导数。您引用的this论文中的结果（图 2）表明这种方法表现良好。