有没有办法在Azure数据工厂中使用Rest API增量加载数据

Question

我正在尝试从每天更新的 Rest API 中提取数据。但我希望每天提取新添加的数据而不是提取整个数据。 任何帮助，将不胜感激。 预先感谢您。

我尝试过使用分页方法，但无法获得预期的结果。

Answer 1

要使用 REST API 作为源、Azure SQL 数据库作为接收器进行增量加载，如果分页不起作用，您可以尝试以下方法：

• 完全加载方法可用于通过复制活动将所有数据加载到虚拟表中，使用 REST API 数据集作为源，使用 Az SQL 表作为接收器数据集。

-- 在 Azure SQL 中创建虚拟表

-- 使用复制活动将 Api 数据存储到其中

• 然后，再次将虚拟表中不存在的（新）数据加载到主表中。

-- 采用 2 个源的数据流，第一个是要传输数据的主表，第二个是虚拟表连接，然后在接收器中添加新数据