如何降低AWS审计数据的RDS成本

Question

所以我在用例中挣扎，我要向aws rds支付巨额费用。这是我的要求的几件事

1. 所以我目前在本地Oracle数据库中有12 TB的数据，我需要迁移到AWS。
2. 这12 TB数据是审核数据。
3. 我将在2秒内将审核数据显示到我的应用程序UI中。
4. 我有插入和更新但对此审计数据没有删除。
5. 我们将运行的查询是选择几条记录或选择单条记录。
6. 在显示到应用程序用户界面时不加入该表。

现在，如果我将此审核数据移至AWS RDS / Mysql，那么它将满足我的用例，但我们要付出的代价是巨大的此外，审计数据还在不断增长。

所以要解决此问题，如果有人可以提供，我还需要其他建议。

我的Minda遇到的一件事是使用S3，虽然成本效益高，但如何处理插入和更新以及即使我们与雅典娜合并，但选择时间却非常缓慢。

第二个虽然是雪花，但同样，我们不是将其用于分析，而只是为了更快地显示。

除此之外，这里可以执行任何操作。

请帮助我，以便我们降低成本。

如果可以节省成本，我愿意在AWS上进行任何实施。

很少更新以阐明更多..1.即使经常访问较旧的数据，我也无法从这12 TB中删除数据。2. Prem的成本很高，但是我们正在迁移到AWS云完整系统，因此，作为迁移的一部分，我们必须进行迁移。3.保留意见是，至少到目前为止，我们已经真正永久保留了所有数据。

Answer 1

如果您的业务要求是在2秒内从12TB数据中提取记录，那么您肯定需要使用数据库。

虽然Amazon Athena非常适合处理大型数据存储，但是如果数据以具有高度相关性的分区的压缩列格式（例如Parquet）存储，则只能提供这种类型的速度。这可能不太可能，但是在不知道您的数据以及如何存储和访问数据的情况下，我无法确定。

数据库有两个基本成本：计算和存储。

存储费用

您有12TB的数据，因此存储成本相当固定。以$ 0.115 / GB计，每月需支付$ 1380。 12TB是很多数据，因此如果您需要所有这些数据都可以访问，这是一个合理的价格。

如果某些数据较少使用，那么拆分数据可能是值得的，以便将较旧的较少使用的数据存储在Amazon S3中并通过Amazon Athena进行查询，而< [最近的常用数据保存在数据库中。但是，这完全取决于您存储的数据和典型的访问模式。

计算费用

此成本由数据库实例的大小决定。所需的大小将取决于使用模式。如果每隔几分钟只有一个人在查询数据，则它可能是小型数据库服务器。如果许多人同时查询数据，那么数据库将需要更大。

总费用

您提到您需要迁移到AWS，但没有提及为什么需要迁移。如果要

降低成本

，则还可以包括使用托管数据库所节省的费用，该数据库可以自动提供备份和故障转移。如果迁移是由于其他因素（例如获得更好的性能）所致，则成本可能不是重要因素。

您可能还想考虑为大型

数据仓库

设计的Amazon Redshift。它具有使用新的RA3节点将数据分别存储在S3中和计算之外的功能。但是，数据仓库不喜欢频繁插入数据，因为数据存储的优化程度较低。因此，仅在MySQL性能不佳时才考虑使用它。