使用python一次从一个s3存储桶传输1000个文件

Question

我想将文件从一个s3存储桶复制到另一个存储桶。但问题是我只想一次传输1000个文件，总共有300,000个文件。另一件事是我希望在批次间转15秒。

我写了下面的代码，从一个s3复制到另一个，但服务器卡住了。所以请帮我解决这个问题。

aws s3 cp s3://sources3bucket/ s3://dests3bucket --recursive

提前致谢！

Answer 1

您可以使用AWS Step Functions将文件从一个Bucket复制到另一个Bucket。这些步骤涉及到

• 编写Lambda函数以根据给定的源桶参数从源复制文件并将其保存到目标存储桶。
• 设置步骤功能工作流程
• 您还可以在工作流中添加15秒的延迟。

有关更多详细信息，请参阅AWS Compute Blob Synchronizing Amazon S3 Buckets Using AWS Step Functions中的博客文章。

示例代码可在SyncBucketsStateMachine Github Repository中找到。