Glue 作业无法从 s3 读取多个文件

Question

如果我选择单个文件，Glue 作业会成功将数据从 s3 写入 Redshift 表，但当我选择包含多个文件的文件夹时则不会

我尝试更改脚本，但没有成功。我缺少什么请告诉我。

谢谢

Answer 1

您如何创建框架？像这样的东西应该有效

df = glueContext.create_dynamic_frame.from_options(
    's3',
    {
        "paths": [
            's3://YOUR-FULL-BUCKET-ADDRESS/'
        ],
        "recurse" : True
    },
    "json",
    transformation_ctx = "df")

print('This is the total count:',df.count())