Cosmos DB 中的吞吐量配置

Question

我计划从 Azure SQL Server 切换到 CosmosDB。我每天要读取大约 27-3000 万条数据进行处理。这就是我想要执行的方式：

1. 全天从 Kafka 读取数据并将其存储在 CosmosDB 中
2. 从 Cosmos 读取数据，执行一些算术计算并将计算后的数据保存回不同的容器中。

基本上，我有 2 种类型的 JSON 文件（从 Kafka 读取）

• Json1 - 大小为 70B（Kafka 全天发送此数据。每天 1-6 次）
• Json2 - 大小为 1KB（Kafka 每天发送一次）

我需要帮助来了解此场景所需的吞吐量和吞吐量模式选择。请指导。

Answer 1

首先，您需要锻炼大约。在一天中的给定时间，每秒将处理并存储在 Cosmos DB 中的读取和写入次数（请求单位是 Cosmos DB 的“基础货币”——如果不了解这一点，甚至无法开始调整大小）。

您还需要知道迁移任何历史数据后您的数据保留情况（用于存储成本）。

一旦获得这些数字，您就可以开始将这些数字输入我们的容量计算器以给出合理的估计

您还可以参考本文来决定标准和自动缩放“吞吐量模式”：https://learn.microsoft.com/azure/cosmos-db/how-to-choose-offer

关于 Kafka——它到底是如何使用的？

• 如果用于 Azure SQL DB 支持的微服务（或类似服务）之间的事件源，建议直接使用 Cosmos DB 中的更改源（请参阅此处的模式）。
• 如果消息通过 Kafka 来自外部源，您将需要查看 Kafka 连接器 文档。