SyncBatchNorm的最小总批量是多少？

Question

对于正常的 BatchNorm，每个GPU的最小批量是2个。

我想知道如果我使用 SyncBatchNorm，我可以用 batch_size=1 为每个GPU与多个GPU?

即 total_batch_size 多于1但 batch_size_per_gpu 是1。

如果有任何深度学习框架，pytorch，tensorflow，mxnet等，我都会感激你的回答。

Answer 1

对于PyTorch，使用 batch_size_per_gpu=1 而且不止一个GPU也可以。