为 GCP 上的测井系统寻求经济高效的水平扩展解决方案

Question

我当前在 GCP 上的架构面临挑战，希望您能提供任何见解或建议。

当前设置：

1. API：托管在 AppEngine 标准上。
2. React UI：也在 AppEngine 标准上。
3. Cloud Run Job：此作业由 API 触发，使用二进制文件执行自定义 OCR。它广泛地传输日志，并将其写入 Firestore。然后，这些日志会使用 Firestore 客户端显示在 React 前端。该作业是使用 Cloud Tasks 队列触发的。

问题： Cloud Run 作业中的二进制文件会记录数小时的日志，由于写入和存储的数据量很大，因此显着增加了我们的 Firestore 成本。

问题： 我们正在寻找一种方法来水平扩展此设置，同时最大限度地降低成本，特别是与 Firestore 相关的成本。在这种情况下，是否有更经济有效的方法或替代方案来流式传输和存储数据？

任何有关架构更改、服务或配置调整的建议都可以帮助降低成本而不牺牲性能，我们将不胜感激！

Answer 1

Cloud Run 作业中的二进制文件会流式传输日志数小时，由于写入和存储的数据量很大，因此显着增加了我们的 Firestore 成本。

您是否尝试过将实时数据库用于您的用例？如果没有，我建议您尝试一下，因为它有完全不同的计费机制。实时数据库中的写入是免费的。

在这种情况下，是否有更经济高效的方法或替代方案来流式传输和存储数据？

我认为实时数据库是您的案例的解决方案，因为它可以帮助水平扩展。除此之外，如果您以某种方式达到限制，您可以通过编程方式创建所需数量的实时数据库实例。