当在CNN中使用此代码作为swish时，反向传播是否会像预期的那样工作？

Question

我想在CNN中使用swish（作为一个层）。

我不确定这是否是实现此类激活功能的正确方法。

使用此代码，反向传播是否正常工作？

class Swish(nn.Module):
    def forward(self,x):
        return x * F.sigmoid(x)

可以在标签中找到有关我正在使用的编程语言的相关信息。

Answer 1

是的，它可以开箱即用。

我不明白为什么你会把它变成一个对象，像这样的函数会更容易和更易读IMO（它会更好地反映它的功能性）：

def swish(x):
    return x * torch.nn.functional.sigmoid(x)

如果你没有使用任何torch.nn.Module（比如可学习的parameters重量，CNN或其他），你不需要torch.nn.Linear。