同步postgres和elasticsearch的最佳方式

Question

我在 postgres 中有大量数据，并且在 elasticsearch 中有一些索引存储相同的数据，只是格式不同并且不完整。在开发我自己的使用

debezium

的程序时，我遇到了很多问题，特别是同步方面的问题，并认为也许有一些现成的解决方案可以解决我的问题。

解决方案主要要求：

1. 数据库负载不明显或不存在
2. 同步延迟小
3. 能够向第三方 API 发送请求以获取丢失的数据
4. 能够在 Elasticsearch 中对 Postgres 进行一项更改进行多项更改。

如果您能推荐一些东西，我将非常感激

Answer 1

1. 您可以尝试Elastic PostgreSQL 连接器。您可以用于一次性同步，也可以安排定期同步。

2. 您可以使用 logstash 和 JDBC 输入插件，它将从 postgreSQL 中提取数据并推送到 Elasticsearch 中。您可以进行一次性同步或安排定期同步。