AWS Lambda如何处理10,000个S3触发器

问题描述 投票:0回答:1

我们正处于编写AWS Lambda以在S3中复制大量s3文件的开始阶段。

这个Lambda将从S3触发。

有关Lambda一次可以处理的最大触发器的建议吗?例如,如果我们在S3触发器文件夹中转储10,000个触发器文件,Lambda会很好地处理这个问题,还是会将自己调整回来以使整个事情变慢?会有更好的推荐号码吗?

amazon-web-services amazon-s3 aws-lambda
1个回答
1
投票

我注意到Lambda(与SNS一起使用)的触发器不可扩展,并且复制了大量并发对象。还有其他限制将此问题解决了。 Lambda并发限制,Lambda Cold Start。

让触发器工作的一种方法是将其发送到SNS并从那里将其转发给lambda。它将由SNS排队并提供。通过往返SNS,你会看到一定的延迟。

希望能帮助到你。

EDIT1

另一方面,如果您仍然希望保留触发器而不必担心时间。它在每个成功的副本之间工作了500毫秒。这样它就不会立刻触发所有触发器。

这是我们的测试,并且成功运行但需要更长时间。使用SNS无需节流。

© www.soinside.com 2019 - 2024. All rights reserved.