提前感谢!
我计划将AWS RDS Postgres用于相当大的数据(>〜50TB),但是我有几个问题尚未回答
AWS RDS Postgres实例的最大限制为16TB,如果这样,人们如何存储> 16TB数据。
RDS的限制为16TB是Postgres可以存储在AWS上的压缩后的最大数据库大小。
此外,在设置AWS RDS Postgres数据库实例时,我没有看到用于启用压缩的任何选项。如何在AWS RDS Postgres中启用压缩?
我已经关注了:
截至2019/02/11,Amazon's docs声明Postgres RDS实例的最大数据库大小为32TiB。此外,此32TiB限制似乎是一个硬限制(某些AWS限制被视为“软”限制,因为用户可以请求将其提高)]
正如其他人所建议的那样,一种选择是管理您自己的数据库,但是鉴于我们在这里谈论的数据规模,这不太容易。
[留在AWS生态系统中,另一种选择是将所有数据存储在S3中,并使用AWS Athena运行查询,尽管取决于您将运行哪种查询,它可能会获得quite expensive.
关于压缩的问题,如果您将数据存储在s3中,则可以在上传之前对其进行压缩。您可能还会发现this answer有用。
除了具有32 TiB限制的PostgreSQL RDS,还应查看具有64 TiB限制的Amazon Aurora PostgreSQL。在这两种情况下,您可以创建的最大单个表是32 TiB,尽管在RDS for PostgreSQL中不能完全达到该大小,因为某些空间将由系统目录占用。
全部披露:我是AWS的Aurora PostgreSQL的产品经理。
RDS限制已修订为64 TB。
MariaDB,MySQL,Oracle和PostgreSQL数据库实例:20 GiB–64 TiB
用于企业版,标准版,Web版和Express版的SQL Server:20 GiB–16 TiB