如何使用Data Factory截断Dynamics 365实体（并复制到Azure数据湖）？

Question

我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure Data Lake。实体每24小时保存为Data Lake中的CSV文件。

我想将实体截断为新数据并附加到数据湖中已存在的文件，而不是批量复制。

我认为这是SQL数据库的常见操作，但这可以在Dynamics 365和Data Lake之间完成吗？

Answer 1

您可以在查询中添加过滤器，以获取在过去24小时内已修改的记录。

此外，您可以设置Dynamics将其数据复制到外部SQL数据库。

Replicate data to Azure SQL Database

Answer 2

Azure Data Lake存储Gen2作为源类型仅支持三种复制行为。

我尝试了三种应对行为，它们都无法帮助您附加到数据湖中已存在的文件。如果选择存在的文件，则复制活动完成后，将覆盖存在的文件。

更多细节，你可以参考：Azure Data Lake storage Gen2 as a source type。

使用Azure Data Factory在Dynamics 365和Data Lake之间无法完成。

感谢James Wood为我们提供了一个很好的解决方案。并结合我和他的答案，问题将得到解决。

希望这可以帮助。