Pytorch：Backprop中grad_h_relu.clone（）的重要性

Question

我正在学习Pytorch，而我正在寻找他们网站上的教程，我无法理解grad_h = grad_h_relu.clone()的意义。

h = x.mm(w1)
h_relu = h.clamp(min=0)
y_pred = h_relu.mm(w2)

# Compute and print loss
loss = (y_pred - y).pow(2).sum().item()
print(t, loss)

# Backprop to compute gradients of w1 and w2 with respect to loss
grad_y_pred = 2.0 * (y_pred - y)
grad_w2 = h_relu.t().mm(grad_y_pred)
grad_h_relu = grad_y_pred.mm(w2.t())


grad_h = grad_h_relu.clone() # what is the signifigance of this line?


grad_h[h < 0] = 0
grad_w1 = x.t().mm(grad_h)

# Update weights using gradient descent
w1 -= learning_rate * grad_w1
w2 -= learning_rate * grad_w2

Answer 1

grad_h = grad_h_relu.clone()

这意味着你正在复制relu的渐变，使它不与原始的grad_h_relu共享内存。然后你对它执行一些操作。由于它们存储在两个不同的位置，通过以下操作更改grad_h的值不会影响grad_h_relu。

grad_h[h < 0] = 0
grad_w1 = x.t().mm(grad_h)

需要此grad_w1来更新您的网络参数。