将多个 DynamoDB 表中的增量加载数据写入单个 S3 存储桶

Question

我正在研究一个用例，我需要以基于事件的方式将数据从多个 DynamoDB 故事传输到单个 S3 存储桶。我的设计可以支持从一个 DynamoDB 表到 s3 的数据，并且是基于事件的架构。设计是DynamoDB -> DB Stream -> Lambda -> SQS -> Lambda -> firehose -> S3。我必须在两者之间转换数据，因此 lambda 从 SQS 到 firehose。

我可以使用这个单一管道将数据从多个 DynamoDB 发送到单个 s3，还是必须为每个表创建多个相同的管道？ 我是否可以优化当前的设计？

Answer 1

看起来很复杂。但您可以对所有表使用相同的管道。

为什么不

DynamoDB - Kinesis Data Stremas - Firehose - Firehose Transformer - S3

这简化了逻辑，您可以对所有表使用单个流。