给出训练数据集Xtrain(m x n)和ytrain(m,)以及一些神经网络顺序模型。
何时以及在什么范围上也必须对训练数据进行标准化?预测值应如何被归一化?以及不同层的激活功能的选择如何影响呢?
以及用于训练的目标(训练):
非常困惑,因此不胜感激。
我们必须规范化Xtrain数据吗?-是的,我们必须
我们归一化的范围是否取决于输入层的激活功能?-不,不是
必须非正规化吗?-否
是否必须归一化为输出层激活函数的范围或所有层的公共范围?-其实我没收到问题。但是,让我解释一下标准化是如何工作的。
归一化的主要目的-使功能单一视图。标准化可提高模型的数值稳定性。如果您具有不同的功能(例如,某些数字列的范围介于1000和20000之间,某些数字列的范围介于-10和5之间,某些布尔列等等),则必须进行标准化。这会将您的非常不同的人变成相似的人。
但是为什么我们需要它?在神经网络中,每个神经元都将特征和权重作为输入:g(X) = X^T * w
因此,如果您的某些功能比其他功能大,则该模型将更加关注大量功能。
谈到非正规化。我们是否需要对y值进行反规范化?不,我们不。由于我们没有对模型进行训练的y_train特征进行归一化,因此我们不需要对预测值进行归一化。