Tensorflow：如何手动分片数据集

Question

我正在使用MirroredStrategy进行多GPU训练，但似乎无法正确分片数据。您如何进行手动分片数据？

[我知道我可以对shard数据集使用tf.data方法，但是为此，我需要访问worker ID，但我不知道如何获得它。如何访问工作人员ID？

Answer 1

[MirroredStrategy]在单个工作程序上运行（对于多个工作程序，有MultiWorkerMirroredStrategy）。因为它仅在一个工作线程上运行，所以MirroredStrategy运行单个Dataset管道而没有任何数据分片。在每个步骤中，MirroredStrategy为每个工作人员请求一个数据集元素。