如何将文件夹、子文件夹和文件从S3存储桶移动到另一个存储桶？

Question

我有一个问题：我想将为此迁移创建的文件夹上的总线结构（文件夹、子文件夹和文件）从存储桶 A 迁移到存储桶 B。

我想知道： 首先-是否可能？ 第二 - 有人可以给出关于代码如何的想法吗？ （我正在使用 pyspark 或 Spark）

我尝试两种方法： 使用copy_object函数 也使用复制功能

我认为我必须一一迭代所有文件夹以及子文件夹，并一一完成获取文件并在不同的存储桶上再次创建所有结构。

有人可以帮我吗。

问候

Answer 1

这是一项非常简单的任务，可以使用

awswrangler

库来完成，您可以轻松地在 GLUE 中安装该库。首先获取要从源存储桶复制的所有文件的列表，然后使用

copy_objects

方法将它们复制到目标存储桶

import awswrangler as wr

source_paths = wr.s3.list_objects('s3://source_bucket')
target_paths = wr.s3.copy_objects(paths=source_paths, source_path="s3://source_bucket", target_path="s3://target_bucket")