线性回归的梯度下降不收敛

Question

我在 JavaScript 中实现了一个非常简单的带有梯度下降算法的线性回归，但是在咨询了多个来源并尝试了一些方法之后，我无法让它收敛。

数据是绝对线性的，只是数字 0 到 30 作为输入，x*3 作为要学习的正确输出。

这就是梯度下降背后的逻辑：

train(input, output) {
  const predictedOutput = this.predict(input);
  const delta = output - predictedOutput;

  this.m += this.learningRate * delta * input;
  this.b += this.learningRate * delta;
}

predict(x) {
  return x * this.m + this.b;
}

我从不同地方拿来了公式，包括：

我已经尝试过：

将输入和输出值标准化到 [-1, 1] 范围
将输入和输出值标准化到 [0, 1] 范围
标准化输入和输出值，使其平均值 = 0 且 stddev = 1
降低学习率（1e-7 和我一样低）
拥有完全没有偏差的线性数据集 (
```
y = x * 3
```
)
拥有非零偏差的线性数据集 (
```
y = x * 3 + 2
```
)
使用 -1 到 1 之间的随机非零值初始化权重

尽管如此，权重（

this.b

和

this.m

）并未接近任何数据值，并且它们发散至无穷大。

我显然做错了什么，但我不知道它是什么。

更新：这里有更多背景信息，可能有助于弄清楚我的问题到底是什么：

我正在尝试通过线性回归伪神经元进行在线学习来建模线性函数的简单近似。这样，我的参数是：

权重：[
```
this.m
```
，
```
this.b
```
]
输入：[
```
x
```
,
```
1
```
]
激活函数：身份函数
```
z(x) = x
```

因此，我的网络将由

y = this.m * x + this.b * 1

表示，模拟我想要近似的数据驱动函数 (

y = 3 * x

)。

我想要的是我的网络“学习”参数

this.m = 3

和

this.b = 0

，但似乎我陷入了局部最小值。

我的误差函数是均方误差：

error(allInputs, allOutputs) {
  let error = 0;
  for (let i = 0; i < allInputs.length; i++) {
    const x = allInputs[i];
    const y = allOutputs[i];
    const predictedOutput = this.predict(x);
    const delta = y - predictedOutput;

    error += delta * delta;
  }

  return error / allInputs.length;
}

我更新权重的逻辑是（根据我迄今为止检查过的来源）

wi -= alpha * dError/dwi

为了简单起见，我将我的权重称为

this.m

和

this.b

，这样我们就可以将其与我的 JavaScript 代码联系起来。我还将

y^

称为预测值。

从这里开始：

error = y - y^
      = y - this.m * x + this.b

dError/dm = -x
dError/db = 1

因此，将其应用于权重校正逻辑：

this.m += alpha * x
this.b -= alpha * 1

但这似乎根本不正确。

Answer 1

我终于发现了问题所在，我正在回答我自己的问题，希望它也能帮助这方面的初学者。

首先，正如萨沙所说，我有一些理论上的误解。您的调整逐字包含输入值可能是正确的，但正如他所说，它应该已经是渐变的一部分。这一切都取决于您对误差函数的选择。

您的误差函数将用于衡量您与真实值的偏差程度，并且该测量需要保持一致。我使用均方误差作为测量工具（正如您在我的

error

方法中看到的那样），但我在训练方法中使用纯绝对误差 (

y^ - y

) 来测量误差。 你的梯度将取决于这个误差函数的选择。所以只选择一个并坚持下去。

其次，简化你的假设以测试问题所在。在这种情况下，我非常清楚要近似的函数是什么（

y = x * 3

），因此我手动将权重（

this.b

和

this.m

）设置为正确的值，但我仍然看到错误发散。这意味着权重初始化不是本例中的问题。

经过更多搜索后，我的错误出现在其他地方：将数据输入网络的函数错误地将

硬编码值传递到预测输出中（它在数组中使用了错误的索引），因此我的振荡看到是因为网络试图逼近

y = 0 * x + 3

（

this.b = 3

和

this.m = 0

），但由于学习率和误差较小在误差函数导数中，

this.b

不会接近正确的值，使得

this.m

做出疯狂的跳跃来适应它。

最后，在网络训练时跟踪误差测量，以便您可以深入了解正在发生的情况。这有助于识别简单的过度拟合、大的学习率和简单的错误之间的区别。

Answer 2

很高兴您发现了错误。

我经常使用的一种方法是将 alpha 设置为一个非常小的值。对于一个很小的 alpha，它应该收敛。如果没有，则说明您的代码有错误。

画一个图表。如果没有稳定，请检查您的代码。确保减去 alpha * 梯度，而不是相加 - 常见错误。

线性回归的梯度下降不收敛

问题描述投票：0回答：2

2个回答

最新问题

线性回归的梯度下降不收敛

问题描述 投票：0回答：2

2个回答

最新问题

问题描述投票：0回答：2