kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

卡夫卡生产者不接新分区

我是新来的卡夫卡,并正尝试建立一个服务来服务于IT消息platofrm。这里是我的设置:卡夫卡0.9.0.1Zookeeper 3.4.8kafka的Python 1.3.3我的应用程序从创建KafkaProducer ...

回答 1 投票 3

Python的卡夫卡消费者消费习惯生产的消息

所以我是相当新的卡夫卡。我试图运行一个简单的卡夫卡消费者和生产者。当我运行我的消费者之前在for循环你好正确打印。但迟迟没有打印在for循环,...

回答 1 投票 1

是否所有的卡夫卡经纪人IP地址有生产信息时需要指定

我有3饲养员3经纪人卡夫卡集群。我的问题是,如果我们不得不放弃只有一个producer-console.sh文件中的IP地址像下面/kafka-console-producer.sh --broker列表192.168.7.110:...

回答 1 投票 2

什么异常传播到客户端应用程序代码中的卡夫卡API

我使用卡夫卡的Java API V2.1。我想知道什么样的异常将从底层API被传播到客户端应用程序代码这是发送呼叫我产生回调代码:...

回答 1 投票 0

最新的 Kafka 中最初提供的 `queue.buffering.max.ms` 的正确配置是什么?

最新的 apache Kafka 文档 (https://kafka.apache.org/documentation) 声称“当事件进入队列时,它们会在队列中缓冲,直到达到 queue.time 或 batch.size。” 然而,...

回答 2 投票 0

Kafka DefaultPartitioner算法

Kafka org.apache.kafka.clients.producer.internals.DefaultPartitioner实现中有一个非常小但非常强大的细节,这让我很烦恼。正是这行代码:返回......

回答 3 投票 2

获取Kafka使用细节

我正在尝试找到获取我的kafka群集的当前使用情况统计信息的方法。我希望收集以下信息:kafka集群中的主题数每个kafka经纪人的分区数...

回答 1 投票 0

在制作主题时,Kafka Streams不会将偏移量增加1

我已经实现了一个简单的Kafka死信记录处理器。使用Console生产者生成的记录时,它非常有效。但是我发现我们的Kafka Streams应用程序没有......

回答 2 投票 4

如何使用java(spring)将json对象消息生成到kafka主题中?

我想在kafka主题中产生一条消息。该消息应具有以下模式:{“targetFileInfo”:{“path”:“2018-05-07-10 / row01-small-01.txt.ready”}}我知道这是一个json模式,所以怎么可能。 ..

回答 2 投票 1

Kafka - org.apache.kafka.common.errors.NetworkException

我有一个kafka客户端代码连接到Kafka(服务器0.10.1和客户端是0.10.2)代理。代码中有2个主题和2个不同的消费者组,还有一个生产者。得到......

回答 1 投票 5

删除__consumer_offsets来自Kafka的主题

我正在尝试删除Kafka主题__Consumer_offset,因为它给我的经纪人带来了很多困惑。当我这样做时,它说这个主题不能标记为删除。我正在使用zookeeper cli来......

回答 2 投票 -1

在kafka中为基于正则表达式的主题指定默认分区和复制因子

背景:我在kafka server.properties文件中设置了默认的分区数= 1和复制因子= 3,并启用了主题创建。 Kafka集群正在运行身份验证和...

回答 1 投票 0

kafka标题和键值对

我遇到了kafka标题的链接。正如下面的链接讨论kafka headerhttps://cwiki.apache.org/confluence/display/KAFKA/KIP-82+-+Add+Record+Headers我可以在...中使用键/值对

回答 2 投票 0

Vert.x EventLoop线程块Inet6AddressImpl.lookupAllHostAddr

在启动kafka生产者时,我在搜索dns条目(?)时遇到非常奇怪的线程块超过4秒,异常:2019-02-11 10:00:33,982 WARN [vertx-blocked-thread-checker] .. 。

回答 1 投票 0

如何将数据发送到Node JS中的多个Kafka主题分区

在Node js应用程序中,当我尝试将消息发送到Kafka主题时,所有内容都将转到分区0.主题是使用4个分区创建的,并且想要以循环机制发布,我试过......

回答 1 投票 1

在两个不同的集群中提交事务性偏移

我们正在使用具有一次交付的处理器(通过生产者提交消费者抵消)并且需要了解在消费来自主题的消息时是否可能发生这种情况......

回答 1 投票 0

为Kafka Producer处理超时异常的准则?

由于卡夫卡制作人中的各种原因,我经常会遇到超时异常。我目前正在使用生产者配置的所有默认值。我已经看到以下超时异常:org.apache ....

回答 3 投票 3

从Java API创建Kafka主题

我正在尝试使用Java API创建Kafka主题,但获取LEADER是不可用的。代码:int partition = 0; ZkClient zkClient = null;尝试{String zookeeperHosts =“...

回答 3 投票 1

如何查看Kafka Server是否运行?

我想在开始生产和消费作业之前确保kafka服务器是否正在运行。它在 windows 环境中,这是我在 eclipse 中的 kafka 服务器代码... 属性支持...

回答 10 投票 0

无法在Ubuntu 16.04上安装rdkafka

我想安装rdkafka按照说明运行命令:sudo pecl install rdkafka我已经使用以下命令安装了pecl:sudo apt-get install php-pear php-dev

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.