Kubernetes上的ReadWriteMany卷中有TB级的数据

Question

我们想部署一个k8s集群，该集群将同时运行约100个IO繁重的Pod。他们都应该能够访问相同的卷。

到目前为止我们尝试过的：

• CephFS
  • 设置非常复杂。很难解决。最后，它崩溃了很多，原因还不完全清楚。
• Helm NFS服务器预配器
  • 运行得很好，但是当IO达到峰值时，仅一个副本是不够的。我们根本无法使多个副本正常工作。
• MinIO
  • 是在k8s中创建存储桶的好工具。但是我们的操作需要fs安装。从理论上讲，使用s3fs是可行的，但是由于我们要运行约100个pod，因此我们需要另外运行100个s3fs边车。那似乎是个坏主意。

必须有某种方法可以在具有相对较高可用性的GKE集群中装入2TB数据？

[Firestorage似乎可以工作，但是它比其他解决方案贵很多，并且由于执行大量IO操作，它很快变得不可行。

---

[[我曾打算在服务器故障时提出这个问题，但k8s社区比SO社区小很多。

Answer 1

我认为截至2020年1月，我有一个明确的答案，至少对于我们的用例：

| Solution        | Complexity | Performance | Cost           |
|-----------------|------------|-------------|----------------|
| NFS             | Low        | Low         | Low            |
| Cloud Filestore | Low        | Mediocre?   | Per Read/Write |
| CephFS          | High*      | High        | Low            |

* You need to add an additional step for GKE: Change the base image to ubuntu

我自己还没有对Filestore进行基准测试，但是我只接受stringy05的响应：
其他人很难从中获得非常好的吞吐量
如果Helm支持，Ceph可能会容易得多。