Kafka 主题未创建

问题描述 投票:0回答:2

我使用以下链接

在快速启动Cloudera VM中安装kafka

但是当我在命令下运行时

kafka-topics --zookeeper quickstart.cloudera:2181 --create --topic test --partitions 1 --replication-factor 1

我收到以下错误

19/09/21 11:28:36 INFO zookeeper.ClientCnxn: Session establishment complete on server quickstart.cloudera/10.0.2.15:2181, sessionid = 0x16d54d21037009d, negotiated timeout = 30000
19/09/21 11:28:38 INFO zookeeper.ZooKeeperClient: [ZooKeeperClient] Connected.
Error while executing topic command : Replication factor: 1 larger than available brokers: 0.
19/09/21 11:28:40 ERROR admin.TopicCommand$: org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.

我尝试从这里解决这个问题。但是当运行下面的命令时

bin/zookeeper-server-start.sh config/zookeeper.properties

但出现错误。

19/09/21 11:54:42 ERROR quorum.QuorumPeerMain: Invalid config, exiting abnormally
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing config/zookeeper.properties
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:131)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:106)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:79)
Caused by: java.lang.IllegalArgumentException: config/zookeeper.properties file is missing
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:115)
... 2 more
Invalid config, exiting abnormally

任何线索都将受到赞赏。

其实我想将kafka连接到spark。如果还有别的办法的话。那也很好。

apache-spark apache-kafka cloudera cloudera-quickstart-vm
2个回答
0
投票

执行主题命令时出错:复制因子:1 大于可用代理:0。

您的第一条错误消息说明了一切。看起来你只启动了zookeeper进程,而不启动了broker。该错误表明集群中没有代理。

确保您使用重要的代理配置启动 Kafka 代理,确保 Zookeeper 是您启动的!。


0
投票

我设置了3个Kafka和zookeeper节点集群。我能够在单个服务器中创建单个主题。但是当我尝试使用复制因子 3 时,它没有被创建。请帮助.Kafka版本(kafka_2.12-3.7.1.tgz ) 命令 - bin/kafka-topics.sh --create --topic DGARM-TEST --bootstrap-server localhost:9092 --replication-factor 3 --partitions 2

执行主题命令时出错:复制因子:3 大于可用代理:1。 [2024-07-06 01:07:24,033] 错误 org.apache.kafka.common.errors.InvalidReplicationFactorException:复制因子:3 大于可用代理:1。 (org.apache.kafka.tools.TopicCommand)

© www.soinside.com 2019 - 2024. All rights reserved.