饲养大熊猫的大数据帧到Tensorflow

Question

我试图用数据从数据帧熊猫喂成Tensorflow管道。我试着这样做：

training_dataset = (tf.data.Dataset.from_tensor_slices((
         tf.cast(df[df.columns[:-1]].values, tf.float32),
         tf.cast(df[df.columns[-1]].values, tf.int32))))

其中df是我的数据帧。然而，它是非常大的，我得到这个错误：

ValueError: Cannot create a tensor proto whose content is larger than 2GB. 

我应该拆分数据帧和创建多个数据集张，并会甚至工作？什么是接近最好的方法？我想到了数据送入feed_dict，但我不能想出如何去做。

Answer 1

有没有需要手动拆分您的数据帧。您可以使用tf.placeholder避免撞到2GB graphdef限制。使用DataFrame.values看看这个https://www.tensorflow.org/guide/datasets#consuming_numpy_arrays从数据帧创建numpy的阵列