当我们说“深度神经网络的非线性”时，在这种情况下，我们用“非线性”这个术语实际上是什么意思？
此外，激活功能的目的是将非线性引入网络。这种非线性意味着什么？ （我是深度学习的新手。）
非线性意味着输出不能从输入的线性组合再现（这与输出到直线的输出不同 - 这个词是仿射的）。
想到它的另一种方式：如果网络中没有非线性激活函数，NN，无论它有多少层，都会表现得像单层感知器，因为对这些层进行求和会给你另一个线性函数（见上文定义）。
Source