kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

使用SpringBoot测试springboog kafka @sendTo

我正在使用@SendTo(“ example”)批注将消息发送到某个主题,但我不知道如何对其进行测试。我打开一个控制台生产者bin / kafka-console-producer.sh --broker-list localhost:9092 --topic ...

回答 2 投票 1

kafka生产者的多个实例

我知道可以启动生产者应用程序的多个实例来为一个主题产生数据。为此需要进行哪些配置更改?我需要其他的client_id吗?没有任何...

回答 1 投票 1

比kafka中的消费者分区少,如何优化该消费者组的其他消费者

让我们假设我有四个分区,一个消费者组有二十个消费者。因此,只有四个消费者将工作,而有十六个消费者将处于饥饿状态。如何优化...

回答 1 投票 0

如何使用AvroProducer向主题添加数据

我有一个具有以下架构的主题。有人可以帮我解决如何将数据添加到不同的字段。 {“ name”:“ Project”,“ type”:“ record”,“ namespace”:“ abcdefg”,“ fields”:[...

回答 1 投票 0

即使经纪人都忙了,Kafka首选领导者也会得到更新吗?

我正在尝试提供一种kafka监视服务,该服务需要在集群中的每个代理上至少具有一个主题的分区。我最初分配了分区。我已经设置了复制...

回答 1 投票 0

Kafka Producer将生产者消息限制为1024字节

我正在尝试使用终端生成kafka消息。我下载了此版本kafka_2.12-2.4.1.tgz。我尝试启动Zookeeper服务器,然后再启动Kafka服务器。我有一个json,它是...

回答 1 投票 1

Kafka处理器api中Header的用户是什么?

我正在学习Kafka处理器API,并在ProcessorContext中找到一个方法标头。 headers()返回当前输入记录的标题;如果不可用,则可以为null。有什么用...

回答 1 投票 0

Kafka消费者的第一次调查未检索到主题消息。有什么问题吗?

我有一个简单的Kafka 2.4.1(Confluent 5.4.1)安装程序在Docker中本地运行。而且我使用用Java编写的测试生产者和测试使用者。该代码在GitHub中可用。单元测试可以:a ...

回答 1 投票 0

client.dns.lookup选项中的“ use_all_dns_ips”和“ resolve_canonical_bootstrap_servers_only”之间的确切区别是什么?

在kafka-client 2.1.0中,client.dns.lookup可用。以下是每个选项的说明。当查询返回一个主机名的多个IP地址时,use_all_dns_ips都将尝试使用它们...

回答 1 投票 0

是否可以将网络套接字消息发送到kafka主题?

[我正在尝试寻找一种方法来使用由websocket发送到kafka主题的消息(消息由websocket发送到地址'ws:// address:port / topic_name',我想添加。 ..

回答 1 投票 0

如果ISR小于复制因子,并且所有生产者ACK被设置,生产者将等待多少个ACK?

RF = 3,ISR = 3,acks =全部>>>发送成功RF = 3,ISR = 2,acks = all >>>发送成功RF = 3,ISR = 1,acks = all >>>发送成功RF = 3,ISR = 1,acks = all,最小isr ....

回答 1 投票 0

Kafka Producer应该重试3次,以防失败

我想在出现任何故障的情况下执行卡夫卡生产者重试逻辑三遍,而且我想手动测试生产者是否在重试。你能建议我,如何手动测试...

回答 1 投票 1

使用jpa和kafka的示例Spring事务?

在将Spring Boot从2.1.11版本升级到2.2.5之后,kafka客户端会在提交jpa事务之前向代理生成消息。不使用链接的卡夫卡...

回答 1 投票 1

加密的kafka消息似乎总是去同一个分区

我的节点应用程序使用kafka-node节点模块。我有一个带有三个分区的kafka主题,如下所示:主题:NotifierTemporarye3df:/ opPartitionCount:3in $ kafReplicationFactor:3ibe Configs:...

回答 2 投票 1

在控制台模式下运行时,Kafka的并行性概念是否适用?

所以,我是Kafka的新手,并且已经阅读了一段时间。我发现有关融合的信息。 https://docs.confluent.io/current/streams/architecture.html所以我从中了解到...

回答 1 投票 0

将数据从Kafka发送到Clickhouse

我一直在尝试将数据从Kafka传递到Click House。因此,目前,我已经创建了一个运行kafka和clickhouse的docker容器。我已经创建了一些随机数据集...

回答 1 投票 0

当源集群和目标集群不在同一配置中时,Kafka Mirror Maker不复制主题

我们设置了Mirror Maker,以便在源和目标设置不同(源= 2个服务器,目标= 3个服务器)之间在两个kafka群集之间复制主题。当启动...

回答 1 投票 0

Kafka生产者配额和超时例外

我正在尝试提出一种配置,该配置将根据生产者的平均字节率来强制执行生产者配额设置。我对3节点群集进行了测试。但是,该主题是使用1 ...

回答 1 投票 0

Kafka制作人-如何在不停机的情况下更改主题并保留消息顺序?

此问题与架构和kafka主题的迁移有关。原始问题:没有向后兼容性的架构演化。 https://docs.confluent.io/current/schema-registry/avro.html我是...

回答 1 投票 2

从 Rest API 发送数据到 kafka

我刚刚开始学习 Kafka,我正在尝试构建一个原型来拥有一个 REST API 生产者并将数据发送给 Kafka 消费者。我浏览了很多文档来确定...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.