如何使用 Azure Synapse Spark 池写入 Cosmos DB

Question

是否可以使用 Azure Synapse 内的 Spark 环境通过 Gremlin API 将数据写入 Azure Cosmos DB？我们需要在 Cosmos 中构建图形数据库，但由于我们已经在使用 Azure Synapse，我们希望避免对 Databricks 等其他工具收费。

谢谢你。

Answer 1

遗憾的是，您无法使用 Azure Synapse 内的 Spark 环境通过 Gremlin API 将数据写入 Azure Cosmos DB。

Azure Synapse Link 可用于 Azure Cosmos DB SQL API 容器或适用于 Mongo DB 的 Azure Cosmos DB API 集合。

适用于 Azure Cosmos DB 的

Synapse Link 是一种云原生混合事务和分析处理 (HTAP) 功能，使你能够对 Azure Cosmos DB 中的操作数据运行近乎实时的分析。 Synapse Link 在 Azure Cosmos DB 和 Azure Synapse Analytics 之间创建紧密的无缝集成。

今天（即 2020 年 9 月 22 日），您可以对 MongoDB 集合中的数据运行 Spark 查询，不会影响 OLTP 工作负载，也无需进行 ETL。从下个月开始，您还可以使用 Synapse SQL 无服务器来运行 T-SQL 查询，并使用 Power BI 在直接查询模式下对此数据构建实时 BI 仪表板。

参考： Azure Synapse Link 中对 Mongo DB 的 Azure Cosmos DB API 的支持

Answer 2

看看这个。它描述了如何从 synapse Spark 中的 blob 读取 CSV 并使用它写入 cosmos gremlin。 https://github.com/lordlinus/cosmosdb-graph-demo?tab=readme-ov-file