我们有 3 个 kafka 机器和 3 个 Zookeeper 服务器的 hadoop 集群
hadoop 版本 - 2.6.4 (HORTONWORKS)
在zookeeper日志下(/var/log/zookper)
我们看到了一百万条警告消息,例如:
2019-06-26 10:48:45,675 [myid:1] - WARN [NIOServerCxn.Factory 0.000.0.0/0.0.0.0:2181:NIOServerCnxn@357] - caught end of stream exception
EndOfStreamException: Unable to read additional data from client sessionid 0x16b8e15a80ca681, likely client has closed socket
at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:230)
at org.apache.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:208)
at java.lang.Thread.run(Thread.java:745)
这些消息的含义是什么:
caught end of stream exception EndOfStreamException
Unable to read additional data from client sessionid
真正的问题是关于 kafka 机器。我们遇到了领导者不平衡的问题,Kafka主题分区最终与领导者-1
尝试让客户端重试。它解决了我的问题。不知何故,我将重试设置为零。
例如:
hbase.client.retries.number