如何使用datemodified进行增量加载？

Question

我有一个 power bi 数据集，需要增量加载。

源数据具有修改日期列。

因此，如果我在增量加载设置中设置为最近 90 天，那么 power bi 将删除并重新插入最近 90 天的日期修改数据。

但是如果数据行最后一次修改是在第 100 天，那么 power bi 刷新会重复该行吗？遇到这种情况该如何处理？

Answer 1

配置了 90 天增量刷新后，不会拾取 100 天的旧记录，因为它超出了刷新范围。上次刷新的现有记录将保持不变。

增量加载文档的检测数据更改部分在解决基数和内存消耗时间接列出了解决此问题的方法：

• 使用电源查询（M）功能来保存最新值。
• 在增量加载期间使用XMLA脚本来预处理记录（当然，它并没有告诉您它仅适用于高级订阅）
• 将任务卸载到单独的 ETL 流程（ADF、Databricks 等），并标记 PBI 应消耗的数据。这就是我所做的，以集中数据验证并避免为每个数据消费者实施独特的解决方案。