使用气流任务将 S3 文件转换为 .csv

Question

我有一个气流任务，它从 Redshift 获取数据，从中创建一个文件并加载到 s3 存储桶中。我希望文件以 .csv 结尾，但卸载命令不允许这样做。如何在同一个 dag 中添加新任务以将文件转换为 .csv 文件？

流程必须是：

任务：将查询的输出卸载到 s3 存储桶 >> 任务2：将这些文件转换为 .csv

Answer 1

只需在气流 dag 中下载文件后添加另一个重命名任务即可。

Answer 2

有点晚了，但 Redshift 最近添加了 EXTENSION 参数来解决这个问题：

1.0.45698 – 2023 年 1 月 20 日发布 此版本的发行说明：

• 向 UNLOAD 命令添加文件扩展名参数，以便文件扩展名自动添加到文件名中。