我正在尝试找到获取我的kafka群集的当前使用情况统计信息的方法。我希望收集以下信息:
可以而且应该收集的任何其他统计数据,目前我正在考虑收集上述统计数据。
我可以使用zookeeper实用程序获得1和2但我在休息时迷路了。我看过Jconsole中的mbeans,但没有找到任何关于上面的内容。我也试过JmxTool来使用基于正则表达式的表达来获取这些mbeans,但这也没有用。
我正在使用Kafka v2.1并使用新的消费者API,因此zookeeper没有任何关于消费者的信息。
任何指针都会很有帮助!
不妨使用https://github.com/yahoo/kafka-manager或https://github.com/linkedin/cruise-control来获取这些信息。
$ KAFKA_HOME / bin下有脚本可以帮助你。
kafka集群中的主题数量
./kafka-topics.sh --zookeeper localhost:2181 --list
每个kafka经纪人的分区数量
./kafka-topics.sh --zookeeper localhost:2181 - 描述
每个分区上的消息数,磁盘大小等
./kafka-log-dirs.sh --describe --bootstrap-server localhost:9092
滞后复制品,消费者滞后等
./kafka-consumer-group.sh --bootstrap-server localhost:9092 --group $ GROUP_NAME --describe
活跃消费者群体活跃消费者和生产者的数量
你不能得到活跃的制片人。 Know existing producers for a kafka topic
./kafka-consumer-group.sh --bootstrap-server localhost:9092 --list
每个kafka经纪人的客户端连接数
./