有没有一种方法可以在RDS Postgres实例中只捕获变化数据,并将这些变化记录写入另一个RDS Postgres DB实例供以后使用?
我看了一些选项,比如使用Debezium,但似乎没有什么帮助,因为我不需要实际写入流。
我的要求是:1) 一次性加载所有现有数据到另一个DB 2) 捕获变更数据(delta)并存储在数据库中(具有相同的副本)并处理变更数据。
我按照以下步骤实现了上述方案。
1) 写了一个Spring批处理作业,它连接到RDS,并做一次完整的加载。2)一旦完成了满载,我们添加了逻辑来导出CDC数据的WAL日志,然后把数据放到流中进一步处理。
虽然不是很好的解决方案,但这个方案对于上述场景来说,效果很好。