如何只提取AWS RDS(Postgres数据库)中的变更数据(CDC),并将变更数据转储到另一个RDS postgres实例中?

问题描述 投票:0回答:1

有没有一种方法可以在RDS Postgres实例中只捕获变化数据,并将这些变化记录写入另一个RDS Postgres DB实例供以后使用?

我看了一些选项,比如使用Debezium,但似乎没有什么帮助,因为我不需要实际写入流。

我的要求是:1) 一次性加载所有现有数据到另一个DB 2) 捕获变更数据(delta)并存储在数据库中(具有相同的副本)并处理变更数据。

postgresql amazon-web-services etl amazon-rds debezium
1个回答
0
投票

我按照以下步骤实现了上述方案。

1) 写了一个Spring批处理作业,它连接到RDS,并做一次完整的加载。2)一旦完成了满载,我们添加了逻辑来导出CDC数据的WAL日志,然后把数据放到流中进一步处理。

虽然不是很好的解决方案,但这个方案对于上述场景来说,效果很好。

© www.soinside.com 2019 - 2024. All rights reserved.