添加批量归一化会降低性能

Question

我正在使用 PyTorch 实现基于骨架的动作识别的分类网络。该模型由三个卷积层和两个全连接层组成。这个基本模型在 NTU-RGB+D 数据集中的准确率约为 70%。我想了解有关批量归一化的更多信息，因此我为除最后一层之外的所有层添加了批量归一化。令我惊讶的是，评估准确率不但没有提高，反而下降到了 60%，但训练准确率却从 80% 提高到了 90%。谁能说我做错了什么？或者添加批量归一化不需要提高准确性？

批量标准化的模型

class BaseModelV0p2(nn.Module):

    def __init__(self, num_person, num_joint, num_class, num_coords):
        super().__init__()
        self.name = 'BaseModelV0p2'
        self.num_person = num_person
        self.num_joint = num_joint
        self.num_class = num_class
        self.channels = num_coords
        self.out_channel = [32, 64, 128]
        self.loss = loss
        self.metric = metric
        self.bn_momentum = 0.01

        self.bn_cv1 = nn.BatchNorm2d(self.out_channel[0], momentum=self.bn_momentum)
        self.conv1 = nn.Sequential(nn.Conv2d(in_channels=self.channels, out_channels=self.out_channel[0],
                                             kernel_size=3, stride=1, padding=1),
                                   self.bn_cv1,
                                    nn.ReLU(),
                                    nn.MaxPool2d(kernel_size=2, stride=2))

        self.bn_cv2 = nn.BatchNorm2d(self.out_channel[1], momentum=self.bn_momentum)
        self.conv2 = nn.Sequential(nn.Conv2d(in_channels=self.out_channel[0], out_channels=self.out_channel[1],
                                            kernel_size=3, stride=1, padding=1),
                                   self.bn_cv2,
                                nn.ReLU(),
                                nn.MaxPool2d(kernel_size=2, stride=2))

        self.bn_cv3 = nn.BatchNorm2d(self.out_channel[2], momentum=self.bn_momentum)
        self.conv3 = nn.Sequential(nn.Conv2d(in_channels=self.out_channel[1], out_channels=self.out_channel[2],
                                            kernel_size=3, stride=1, padding=1),
                                   self.bn_cv3,
                                  nn.ReLU(),
                                  nn.MaxPool2d(kernel_size=2, stride=2))

        self.bn_fc1 = nn.BatchNorm1d(256 * 2, momentum=self.bn_momentum)
        self.fc1 = nn.Sequential(nn.Linear(self.out_channel[2]*8*3, 256*2),
                                 self.bn_fc1,
                                 nn.ReLU(),
                                 nn.Dropout2d(p=0.5))  # TO check

        self.fc2 = nn.Sequential(nn.Linear(256*2, self.num_class))

    def forward(self, input):
        list_bn_layers = [self.bn_fc1, self.bn_cv3, self.bn_cv2, self.bn_cv1]
        # set the momentum  of the batch norm layers to given momentum value during trianing and 0 during evaluation
        # ref: https://discuss.pytorch.org/t/model-eval-gives-incorrect-loss-for-model-with-batchnorm-layers/7561
        # ref: https://github.com/pytorch/pytorch/issues/4741
        for bn_layer in list_bn_layers:
            if self.training:
                bn_layer.momentum = self.bn_momentum
            else:
                bn_layer.momentum = 0

        logits = []
        for i in range(self.num_person):
            out = self.conv1(input[:, :, :, :, i])

            out = self.conv2(out)

            out = self.conv3(out)

            logits.append(out)

        out = torch.max(logits[0], logits[1])
        out = out.view(out.size(0), -1)
        out = self.fc1(out)
        out = self.fc2(out)

        t = out

        assert not ((t != t).any())  # find out nan in tensor
        assert not (t.abs().sum() == 0)  # find out 0 tensor

        return out

Answer 1

我对您所观察到的现象的解释是，您不是减少协方差偏移（这正是批量归一化的目的），而是增加协方差偏移。换句话说，您不是减少训练和测试之间的分布差异，而是增加它，这就是导致训练和测试之间的准确率差异更大的原因。批量归一化并不能始终保证更好的性能，但对于某些问题它效果不佳。我有几个可以带来改进的想法：

如果批量大小较小，则增加批量大小，这将有助于 Batch Norm 层中计算的平均值和标准差成为总体参数的更稳健的估计。
稍微减小
```
bn_momentum
```
参数，看看是否也能稳定 Batch Norm 参数。
我不确定您在测试时是否应该将
```
bn_momentum
```
设置为零，我认为您应该在想要训练时调用
```
model.train()
```
，并在想要使用经过训练的模型进行推理时调用
```
model.eval()
```
。
您也可以尝试使用图层归一化而不是批量归一化，因为它不需要积累任何统计数据并且通常效果很好
尝试使用 dropout 稍微规范一下你的模型
确保在每个时期都对训练集进行洗牌。不打乱数据集可能会导致相关批次，从而使统计数据处于批次归一化循环中。这可能会影响你的概括我希望这些想法对你有用

Answer 2

问题可能出在你的动力上。我看到你用的是 0.01。

这是我如何尝试不同的贝塔来适应具有动量的点，并且使用

beta=0.01

我得到了糟糕的结果。通常使用

beta=0.1

。

Answer 3

这几乎发生的原因有两个：1.非平稳训练过程和2.训练/测试不同的分布

如果可以尝试其他正则化技术，例如 Drop-out，我面临这个问题，我发现我的测试和训练分布可能不同，所以在我删除 BN 并使用 drop-out 后，得到了合理的结果。阅读此了解更多
使用
```
nn.BatchNorm2d(out_channels, track_running_stats=False)
```
这会禁用批次的运行统计并使用当前批次的均值和方差进行归一化
在训练模式下，对
```
with torch.no_grad()
```
块中的数据运行一些前向传递。这稳定了 running_mean / running_std 值
在数据集中对
```
model.train()
```
和
```
model.eval()
```
使用相同的batch_size
增加国阵的动力。这意味着学习的的手段和标准在训练过程中会更加稳定

每当您使用预训练模型时这都会很有帮助

   for child in model.children():
       for ii in range(len(child)):
           if type(child[ii])==nn.BatchNorm2d:
               child[ii].track_running_stats = False

Answer 4

这看起来像是一个明显的过度拟合案例。
它可能与批量归一化无关，而更多地与向模型中添加一些东西有关，使其能够更好地拟合训练数据，从而导致过度拟合。
有可能，除了添加 bn 之外，您还可以添加任何其他东西，使其能够更好地适应训练数据，并且您会看到同样的事情。
尝试仅使用一层密集层或在密集层中使用 dropout。大多数人已经远离密集层，因为它们很容易过度拟合。

添加批量归一化会降低性能

问题描述投票：0回答：4

4个回答

最新问题

添加批量归一化会降低性能

问题描述 投票：0回答：4

4个回答

最新问题

问题描述投票：0回答：4