将 AWS Kinesis Firehose 配置到特定 S3 文件夹

Question

我正在尝试配置 AWS Firehose 以写入特定的 s3 目录。为此，在 Firehose 控制台的前缀部分，我给出了“Sample/”。附上屏幕截图。

即使在此之后，在 S3 中，它仍创建文件夹结构 S3bucket/样本/YYYY/MM/dd/file.json.

有没有办法省略表达式（例如YYYY/MM/dd）并让firehose仅使用前缀，就像这样=> S3bucket/Sample/file.json？

Answer 1

一种解决方案是添加 lambda 函数，该函数在 S3 事件上触发并更改最终文件名。在您的情况下，删除日期和其他内容以及最终名称，例如 file.json