如何比较两个 AWS S3-Bucket，以生成一些比较报告

Question

我有启用了版本的 AWS S3 存储桶。 对于每个对象

• Object Key

  • VersionId

    、

    Last Modified

    、

    size

是否有任何服务可用于实现此报告，来自 S3 存储桶的数据是否与上述标准匹配？ 可以编写一个 java 实用程序，但有兴趣寻找 AWS 运行某些可以提供相关数据的服务的方式。 AWS Lambda 不能在这里使用，因为它的服务是短期的，并且会迭代每个键。版本花费了相当长的时间。

目前我已经准备好了一个基于Java的实用程序，它可以进行迭代数据收集并最终进行比较，但这仍然是手动执行获取操作。

如果AWS提出这样的比较，那么它就会增值。

Answer 1

考虑到每个存储桶中有 800,000 个对象版本，制作 API 会非常慢，因为每个 ListBucket API 调用最多返回 1000 个对象。

我建议激活 Amazon S3 Inventory，它可以提供每日或每周列出所有对象的 CSV 文件。如果您在两个存储桶上激活此功能，则可以比较两个 CSV 文件以识别存储桶之间的差异。

您也许能够使用 Diff 实用程序执行比较，或者在最坏的情况下，您可以编写一些代码来识别存储桶之间不同的对象。