Tensorflow：从numpy数组> 2 GB创建minibatch

Question

我正在尝试为我的模型提供小块数量的numpy数组，但我仍然坚持批处理。使用'tf.train.shuffle_batch'会引发错误，因为'images'数组大于2 GB。我试图绕过它并创建占位符，但是当我尝试提供数组时，它们仍然由tf.Tensor对象表示。我主要担心的是我在模型类下定义了操作，并且在运行会话之前没有调用对象。有谁知道如何处理这个问题？

def main(mode, steps):
  config = Configuration(mode, steps)



  if config.TRAIN_MODE:

      images, labels = read_data(config.simID)

      assert images.shape[0] == labels.shape[0]

      images_placeholder = tf.placeholder(images.dtype,
                                                images.shape)
      labels_placeholder = tf.placeholder(labels.dtype,
                                                labels.shape)

      dataset = tf.data.Dataset.from_tensor_slices(
                (images_placeholder, labels_placeholder))

      # shuffle
      dataset = dataset.shuffle(buffer_size=1000)

      # batch
      dataset = dataset.batch(batch_size=config.batch_size)

      iterator = dataset.make_initializable_iterator()

      image, label = iterator.get_next()

      model = Model(config, image, label)

      with tf.Session() as sess:

          sess.run(tf.global_variables_initializer())

          sess.run(iterator.initializer, 
                   feed_dict={images_placeholder: images,
                          labels_placeholder: labels})

          # ...

          for step in xrange(steps):

              sess.run(model.optimize)

Answer 1

您正在使用initializable iterator的tf.Data将数据提供给您的模型。这意味着您可以根据占位符对数据集进行参数化，然后为迭代器调用初始化器op以准备使用它。

如果您使用可初始化的迭代器或来自tf.Data的任何其他迭代器来为模型提供输入，则不应使用feed_dict的sess.run参数来尝试进行数据馈送。相反，根据iterator.get_next()的输出定义您的模型，并省略feed_dict的sess.run。

这些方面的东西：

iterator = dataset.make_initializable_iterator()
image_batch, label_batch = iterator.get_next()

# use get_next outputs to define model
model = Model(config, image_batch, label_batch) 

# placeholders fed in while initializing the iterator
sess.run(iterator.initializer, 
            feed_dict={images_placeholder: images,
                       labels_placeholder: labels})

for step in xrange(steps):
     # iterator will feed image and label in the background
     sess.run(model.optimize) 

迭代器将在后台将数据提供给您的模型，不需要通过feed_dict进行额外的输入。