我有一个S3存储桶,其中包含许多文件(1000条记录/分钟)。我想在批量删除的文件上触发Glue ETL作业。
我已经看过使用Firehose来聚合事件的批次,但这需要大量的链接资源。喜欢S3 - > Lambda - > Firehose - > ......
批量处理数据的最佳方法是什么?
您可以使用AWS Glue Job Triggers,它允许您以预定的时间间隔运行粘合作业,而不是作为S3事件触发器运行?
你在处理流数据吗?在您的信息有限的情况下,请勿查看Firehose的用例/用途。