我必须使用数据工厂进行增量加载

问题描述 投票:-1回答:1

我正在增加数据量,其中我没有数据时间戳,我该怎么做。

azure-data-factory
1个回答
0
投票

你要么必须:

A.确定要用于确定行是否已更改的每个表中的字段B.在源数据上实现某种更改捕获功能

这些只是限制从源中提取的数据量的唯一两种方法。

它不会非常高效,但如果您只是尝试不更新目标中未更改的行,则可以散列源值并在目标中散列值,并仅插入/更新散列中的行不匹配。这是an example在T-SQL中的工作原理。

有一个section of the Data Factory documentation致力于逐步加载数据。如果还没有,请检查一下。

© www.soinside.com 2019 - 2024. All rights reserved.