“仅当您使用非线性激活函数来压缩来自节点的输出信号时，神经网络才是非线性的。”
我在机器学习资源中读了很多这句话。但是考虑一下：假设我们有史以来最简单的线性激活函数：f（x）= x。现在考虑只有两层的神经网络。因此，我们有以下内容：
a = W2.f（W1x + b1）+ b2
a = W2 * W1 * x + W2 * b1 + b2
此线性如何？权重彼此相乘，这在标准线性回归中不会发生（因为权重必须是线性的）。但是在神经网络中，每个人似乎都只在乎激活函数产生的非线性，而不是多层。
这可能不是您要查找的确切答案，但以上句子是指激活前单个节点的输出。因此，每个节点的输出都是线性的。即使对于已发布的第二层方程式也是如此。该方程式有两个常数值，只有一个x值乘以两个常数。因此，该等式的输出应为线性关系。
a = W2*W1*x + W2*b1 + b2
此最后一个方程式的最大指数为1的变量。因此，它仍然是线性的。