我们正在将数据从RDS转移到弹性搜索,数据量约为80GB,大约有9000万条记录。
我们一直在使用弹性搜索的批量api来索引数据,但是我们想要整个弹性记录转储并将记录与我们的RDS进行比较,因为我们希望确保RDS中的数据正确地移动到Elastic。在Elastic中,我们已经将多个RDS表组合成一个弹性索引,有没有办法将弹性索引转储到文档或多个文件中?
没有开箱即用的解决方案,但弹性网站上有一篇旧帖子解释了一些解决方案:
https://www.elastic.co/blog/elasticsearch-verifying-data-integrity-with-external-data-stores
希望它有所帮助。