我们希望使用AWS步骤功能处理CSV文件中的大量数据,但我们不确定这是否是最佳选择。
我们的用例如下: - 我们上传了一个包含大量行(如50K)的CSV,每行我们处理一个小的traitements(每个traitement由lambda函数处理)。目前,我们认为最好的选择是将我们的CSV中的每一行插入DynamoDB中,并为每一行启动我们的lambda函数。
你觉得这怎么样 ?
使用Lambda处理大型文件有多种模式。
在您提出的方法中,如果每个项目处理足够大,则逐项处理是有意义的,但通常以批处理的方式处理更有效。