文件上传速度缓慢到Google云端存储

问题描述 投票:1回答:2

我注意到谷歌云存储的上传速度相当低,与将文件上传到谷歌云端硬盘相比差不多2.5倍。这是一个截屏,比较两个上传1GB文件:

https://gyazo.com/c3488bd56b8118043b7df5aab813db01

这只是一个例子,但我也尝试使用gsutil命令行工具,使用他们用来最快上传大文件的所有建议(例如使用parallel_composite_upload_threshold)。它仍然比我习惯的要慢。慢得多。

有没有办法提高这个上传速度?为什么上传到云端硬盘的速度比向GCS上传速度快得多?

google-cloud-platform google-drive-sdk google-cloud-storage
2个回答
2
投票

我花了一天时间使用console.google.cloud.com aka浏览器上传大约30.000张图像(100kb /图像),就像你一样。然后我尝试使用gsutil在Ubuntu中使用终端上传文件。按照这里的指示:https://cloud.google.com/storage/docs/uploading-objects

对于单个文件:

gsutil cp [LOCAL_OBJECT_LOCATION] gs://[DESTINATION_BUCKET_NAME]/

对于目录:

gsutil -m cp -R [DIR_NAME] gs://[DESTINATION_BUCKET_NAME]

使用gsutil它非常快,我上传了100.000张图像(100~400kb /图像),只花了不到30分钟。

老实说,我没有做过很多研究,为什么使用gsutil比使用控制台要快得多。可能是因为gsutil提供了-m选项,它执行并行(多线程/多处理)副本,可以显着提高上传的性能。 https://cloud.google.com/storage/docs/composite-objects


1
投票

嗯,首先这两种产品都有不同的用途。虽然Drive可以看作是使用云的小规模文件存储,但云存储专注于与Google Cloud Platform产品的集成,数据可靠性,可访问性,可用性从小到大。

您需要考虑到,当您将文件上传到云存储时,它被视为blob object,这意味着它必须经过一些额外的步骤,例如,上传到云存储时对象数据需要是encrypted ,并检查上传的对象consistency

同样,根据您的存储桶的配置,上传的对象可能启用了version control,而存储桶可能是storing the data in various regions at the same time,这会降低文件上传速度。

我相信其中的一些要点,特别是加密,与云端硬盘相比,云存储中的文件上传速度较慢。

不过,我建议你把你正在上传的水桶放到region closest to your area,这可能会有所作为。

© www.soinside.com 2019 - 2024. All rights reserved.