快速获取AWS S3对象元数据

问题描述 投票:0回答:1

这个问题How can I read the metadata for every item in an S3 bucket?处理如何在AWS S3上获取对象的元数据的方式,但是这个过程非常缓慢。即使我使用“boto3”,我也会在7秒内获得大约50个对象的元数据。有没有可靠的替代方案?我只需要一个目录的数据,但是它可以包含几千个对象。作为最后的手段我只考虑获取最新的对象的元数据,但为此我首先需要元数据我猜:)

amazon-web-services amazon-s3 boto3
1个回答
1
投票

如果您不介意每天只获取一次信息,可以使用Amazon S3 Inventory

Amazon S3清单提供逗号分隔值(CSV)或Apache优化行列(ORC)输出文件,每天或每周为S3存储桶或共享前缀(即具有对象的对象)列出对象及其对应的元数据以普通字符串开头的名称。

如果您需要更频繁地更新信息,则可以在创建新对象时在存储桶上配置触发AWS Lambda函数的事件。然后,Lambda函数可以将信息存储在数据库中以供将来参考。当然,您必须自己编写此代码。

© www.soinside.com 2019 - 2024. All rights reserved.