从PostgreSql到Blob的增量复制数据

Question

我目前正在研究PostgreSql，并努力将增量数据从PostgresDb移动到Blob，请帮助我解决方案，以前尝试过复制工具模板但没有用。

我想将数据从PostgreSql逐步复制到Azure Blob。

Answer 1

请按照此link中的解决方案在源数据库中定义具有最后更新时间戳或递​​增键的水印。

1.选择水印列。在源数据存储中选择一列，可用于对每次运行的新记录或更新记录进行切片。通常，在创建或更新行时，此选定列中的数据（例如，last_modify_time或ID）会不断增加。

2.在复制活动中配置查询sql。

如select * from table where modifyTime between 2019.3.27 and 2019.3.28

3.创建计划触发器以运行管道和复制活动。请看这个link。您可以每天触发它以逐步复制昨天的数据。