存储Google Cloud Machine Learning项目图像的最佳方式?

问题描述 投票:4回答:1

我正在使用带有Tensorflow和Keras的Google Cloud Platform运行机器学习项目。我的数据集中有大约30,000个PNG图像。当我在本地运行它时,Keras有很好的实用程序来加载图像,但是Google Cloud Services需要使用某些库,例如tensorflow.file_io(请参阅:Load numpy array in google-cloud-ml job),以便从GC存储桶中读取文件。

从Google云端存储分区加载图像的最佳方法是什么?现在我将它们保存为字节并从一个文件中读取它们,但是能够直接从GC存储桶加载图像会很棒。

谢谢,

python tensorflow google-cloud-platform keras google-cloud-ml-engine
1个回答
1
投票

这篇文章可能有帮助。

Tensorflow multithreading image loading

它使用新的tf.data.Dataset API以高效的方式直接加载图像。因此,您可以存储单个文件而不是单个文件...尽管可能单个文件可能会提供更好的性能,如果您使用类似于每个记录包含图像的TFRecord文件。

希望有所帮助!

© www.soinside.com 2019 - 2024. All rights reserved.