写入Elasticsearch时出错，无法从数据流中插入某些元素

Question

elasticsearch版本6.8.5ElasticsearchIO 2.15.0数据流版本2.15.0

我在群集中有3个节点，并且在同一台机器上，我在gcp中具有6个内核和16GB ram的实例，我为每个节点设置了4gb

我有5个索引每个索引具有2个分片2个副本

数据流在2分钟内发送到elasticsearch总数为2K的记录到总数为1万条记录中的每个索引

并向我发送下一个错误

java.io.IOException: Error writing to Elasticsearch, some elements could not be inserted:
Document id jnlmbW8BnhRHn7hU2cLS: rejected execution of processing of [10948][indices:data/write/bulk[s][p]]: request: BulkShardRequest [[indexname][0]] containing [3] requests, target allocation id: M40WguEMSTmWedf2c6LuAg, primary term: 1 on EsThreadPoolExecutor[name = C2JZ4zA/write, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@51a06c32[Running, pool size = 6, active threads = 6, queued tasks = 224, completed tasks = 1026]] (es_rejected_execution_exception)

我检查结果并在Elasticsearch中缺少记录例如数据流说过程1850记录，而在弹性搜索中有1800有什么主意吗？

Answer 1

这意味着您已使请求队列不堪重负。您的队列已满，节点刚刚开始忽略新请求。您可以尝试增加队列的大小，如here所示。如果增加队列大小不起作用，则必须增加处理能力（通过添加新节点或改进现有节点）或减少一段时间内的请求数。首先，我建议您监视节点并注意发生的事情。