私有云的 AWS S3 替代品

问题描述 投票：0回答：4

现在我们需要从AWS迁移到私有数据中心。我们需要找到替代 AWS S3 的潜在替代存储。 目前S3的使用方式如下：

  • 整体存储大小为10TB；
  • 最小/平均/最大对象大小为 0.5/2/100 Mb；
  • 我们有 N 个同时写入/读取的 App 实例
    对象大约每秒 50 次写入，每秒 30 次读取；
  • 此存储应该是冗余的（高可用）、容错、可扩展的；

简单的实现可以将此数据存储在：

  • 简单的NFS存储并添加一些复制功能；
  • 只需将提到的对象存储在 NoSQL DB 中（如 Cassandra 中的示例）。然而，Cassandra 将需要大量实例来支持此存储（不建议在 1 个 Cassandra 节点上存储 > 1TB Cassandra 容量规划）

对于这种情况，您会推荐什么解决方案？

amazon-s3 cassandra storage nfs
4个回答
6
投票

如果您想拥有私有云存储，那么使用MinIO（一个为AI存储构建的对象存储）是您的最佳选择。它与 AWS S3 兼容，这意味着使用 AWS S3 的应用程序可以无缝迁移到 MinIO。他们有一个如何使用 AWS CLI 连接 MinIO 服务器的教程。您可以针对公共托管的 MinIO 服务器https://play.min.io:9000 进行测试。请参阅AWS CLI 与 MinIO Server。

您可以使用 MinIO 分布式设置拥有高可用的存储系统。请注意，动态扩展不是 MinIO 分布式设置的功能。如果您想扩展集群，您最终会使用所需数量的服务器/磁盘旋转一个新集群，然后必须将数据从旧集群迁移到新集群。

我发现它比 HDFS 更容易使用。除此之外，Hadoop生态系统之外还有很多技术缺乏HDFS集成。例如，DockerRegistry缺乏内置的HDFS存储驱动程序。但是，它有一个 S3 驱动程序，因此您可以使用 MinIO 作为对象存储。

3
投票

S3 兼容的私有云服务有很多选项。如果您喜欢开源解决方案，上面的开放堆栈和 Cassandra 都是不错的选择。请注意，通常无论您使用什么，最终可能会建立一个具有多个节点的云，这不可避免地要以冗余和可用性为代价。还有一些很好的商业和经济产品，比如Cloudian

的产品
1
投票

如果您需要对象存储，我可以推荐elliptics（英文）。 据我所知，它对磁盘存储没有限制。

对于 Cassandra，我们使用 SSD 磁盘（以获得更好的性能）< 200-500 Gb. Ring size would be depend from your requirements (read/write latency, replication rate, time to life).

50 次写入/秒，30 次读取/秒

这对于 Cassandra 来说确实非常简单，因为我可以与我们的设置进行比较。 在这种情况下，它更取决于您的对象的生命周期。

一般来说，如果是分布式网络，你也可以看看GlusterFS。

1
投票

您可以使用 OpenStack Swift

Swift 是一个高度可用、分布式、最终一致的对象/blob 存储。组织可以使用 Swift 高效、安全且廉价地存储大量数据。

了解更多信息：https://docs.openstack.org/swift/latest/
和https://oldhenhut.com/2016/05/31/s3-vs-swift/

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.