python aws s3文件分发

问题描述 投票:0回答:2

我期待this教程。我想知道无论如何要在不同的对象上分发大量的文件。作为示例,假设我有大小为60 GB的视频文件,并且我有大小为4 x 15 GB的S3小程序。现在我如何拆分我的文件以保持这些大小的存储。如果你能分享任何教程我会很高兴。

python amazon-web-services amazon-s3
2个回答
1
投票

检查此AWS文档。我认为这会很有用。

http://docs.aws.amazon.com/AmazonS3/latest/dev/UploadingObjects.html

链接的导入部分如下:

根据您上传的数据大小,Amazon S3提供以下选项:

在单个操作中上传对象 - 使用单个PUT操作,您可以上载最大5 GB的对象。有关更多信息,请参阅在单个操作中上载对象。部分上传对象 - 使用分段上传API,您可以上传最大5 TB的大型对象。分段上传API旨在改善较大对象的上传体验。您可以上传部分对象。这些对象部分可以独立,任意顺序和并行上载。您可以对5 MB到5 TB的对象使用分段上传。有关更多信息,请参阅使用Multipart Upload API上载对象。我们建议您通过以下方式使用分段上传:

如果您要通过稳定的高带宽网络上传大型对象,请使用多部分上传,通过并行上传对象部分来最大限度地利用可用带宽,以实现多线程性能。如果您通过不稳定的网络上传,请使用分段上传,以避免上传重启,从而提高网络错误的弹性。使用分段上传时,您需要重新上传仅在上传期间中断的部分。您无需从头开始重新上传对象。有关多部分上传的详细信息,请参阅“分段上传概述”。


2
投票

S3存储桶对大小没有限制,因此通常没有理由在存储桶之间拆分文件。

如果你真的想要跨文件分割文件(我不建议这样做),你可以将前25%的字节写入存储桶A中的对象,接下来25%的字节写入存储桶B中的对象,等等。但这有点复杂(您必须拆分源文件并仅上传相关字节),然后您必须处理以后组合它们以便检索完整文件。

为什么要在存储桶之间拆分文件?

© www.soinside.com 2019 - 2024. All rights reserved.