ElasticSearch切片滚动限制(python)

问题描述 投票:0回答:1

我正在使用庞大(500万个文档)的ElasticSearch数据库,我需要使用python中的切片滚动来获取数据。问题是:是否有某种方法可以限制(设置size参数)切片滚动?我试图通过size[search obj].param(size=500000)设置[:500000]参数,但它似乎不起作用-切片滚动显示了我所有的文档。

在我的脚本中,我将切片滚动与python多重处理一起使用,如下所示:https://github.com/elastic/elasticsearch-dsl-py/issues/817

是否有某种方法可以使用切片滚动获取500000个文档?

提前感谢。

python elasticsearch scroll size
1个回答
0
投票

来自github的答案:

“滚动没有限制,它总是返回所有文档。要只获取一个子集,只需在使用break语句或类似方法获取要检索的数字后,就停止使用迭代器。”

https://github.com/elastic/elasticsearch-dsl-py/issues/817

© www.soinside.com 2019 - 2024. All rights reserved.