从 Spark Databricks 写入 Azure Cosmos db 时数据丢失

Question

我使用 azure cosmos Spark 连接器将数据帧从 databricks 发送到 azure cosmos db 中存在的图形集合，并编写 https://github.com/Azure/azure-cosmosdb-spark 提供的配置。但在发生此数据传输时我面临数据丢失的问题。我尝试写入 800k 记录，但丢失了 25k 记录。谁能帮我解决这个问题吗？

Answer 1

你找到解决办法了吗？我也面临类似的问题，所有记录都已推送，但 cosmosdb 上缺少一些列。