AWS胶水ETL作业在批次的S3事件上触发

问题描述 投票:0回答:1

我有一个S3存储桶,其中包含许多文件(1000条记录/分钟)。我想在批量删除的文件上触发Glue ETL作业。

我已经看过使用Firehose来聚合事件的批次,但这需要大量的链接资源。喜欢S3 - > Lambda - > Firehose - > ......

批量处理数据的最佳方法是什么?

amazon-web-services bigdata etl aws-glue
1个回答
0
投票

您可以使用AWS Glue Job Triggers,它允许您以预定的时间间隔运行粘合作业,而不是作为S3事件触发器运行?

你在处理流数据吗?在您的信息有限的情况下,请勿查看Firehose的用例/用途。

© www.soinside.com 2019 - 2024. All rights reserved.