kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

发送字符串列表时构建kafka生产者失败

我是 Kafka 新手,我正在尝试读取一个文本文件并创建一个要发送给消费者的字符串列表。我正在使用 Java 21 和 Spring Boot 3.2.0(快照)。 这是 Kafka 项目...

回答 1 投票 0

Kafka CLI:列出某个主题的所有消费者组的命令?

kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group webapi-group 上面的命令给了我: 错误:消费者组“web-api”不存在。 这是正确的,因为 web-api...

回答 2 投票 0

如何修复 kafka.common.errors.TimeoutException:自批量创建以来已过期 1 条记录 xxx 毫秒加上逗留时间

我使用的是kafka_2.11-2.1.1 和使用 spring 2.1.0.RELEASE 的生产者。 我在将消息发送到 Kafka 主题时使用 spring,我的生产者生成了很多 TimeoutExceptions org.apache.k...

回答 3 投票 0

Kafka 更新元数据失败

我正在使用 Kafka v0.10.1.1 和 Spring-boot。 我正在尝试使用以下生产者代码在 Kafka 主题移动用户中生成消息: 主题移动用户有5个分区和2个复制fa...

回答 1 投票 0

MSK - Kafka 客户端版本 3.4.0 出现 kafka-console-生产者错误

我一直在使用 MSK Serverless/Provisioned 和 kafka-clients 3.4.0。 当我使用 * 作为主题名称时,一切正常。 arn:aws:kafka:区域:帐户 ID:主题/集群名称/集群...

回答 1 投票 0

写入死信主题以防反序列化异常

我有一个 Spring Boot 应用程序,它有一个带有 @KafkaListener 的简单 Consumer。我有阻止重试逻辑,可以按预期工作,但如果出现反序列化异常,我想存储...

回答 2 投票 0

使用 Spring Kafka 对单个生产者进行僵尸围栏

我有一个Spring Kafka应用程序,它有一个生产者,它不是纯kafka消费->流程->生产链的一部分,即生产者不是由kafka消费者触发的。 阿科...

回答 1 投票 0

Kafka 与 .Net 客户端

我想在我们的生产环境中使用kafka。我想知道最新版本的客户端是否没有错误可用于生产发布。是否与消费者团体合作?我想传递10000条记录...

回答 6 投票 0

Kafka 出现错误,引导服务器中没有给出可解析的引导 URL

我很确定 bootstrap.servers 是正确的。 Maven 有什么冲突或者 Kafka 有什么问题吗? 在此之前它工作得很成功。我添加了一些 Maven 或 Spark,然后添加了一些...

回答 7 投票 0

KAFKA ListenableFuture spring-如何根据 onsuccess 方法 future.addCallback 返回客户端响应对象,因为 onsuccess 为 void

公开课测试{ public StudentDto 发布StudentDto { ListenableFuture> future = this.studentKafkaTemplate.send(topicName, 学生); ...

回答 2 投票 0

Kafka Producer 将消息平均分发到所有分区

我有一个生产者向kafka主题发送消息。我的主题在同一消费者组中有 10 个分区,我正在寻找消息的循环分配。我已指定 RoundRobinPartitio...

回答 1 投票 0

Kafka 抛出 java.nio.channels.ClosedChannelException

当我尝试使用kafka控制台工具(V 0.9.0.1,我认为这使用旧的消费者API)使用来自ec2中托管的kafka服务器的消息时 我得到以下异常。 我怎样才能克服...

回答 4 投票 0

如何修复使用kafka-python连接Red Panda时的KafkaTimeoutError

尝试将 kafka-python 生产者连接到我的 Red Panda 数据库时出现以下错误。 KafkaTimeoutError:KafkaTimeoutError:60.0 秒后无法更新元数据。 我有一个开发...

回答 1 投票 0

验证 Kafka 主题中是否存在消息

我希望避免向 Kafka 主题发送重复的消息。 实现它的理想方式是什么? 使用 Apache Kafka 的 Java 客户端,是否可以在调用之前验证消息是否存在

回答 3 投票 0

我们可以在Spring Boot中使用多个kafka模板吗?

在我的 spring boot kafka 发布者应用程序中,我想提供对以 String(json) 或字节格式发布消息的支持,因为我想同时提供对 json 和 avro 的支持。但是

回答 3 投票 0

KafkaJSProtocolError:鉴于当前 SASL 状态,请求无效

我有一个 AWS MKS 集群,我可以在其中创建主题、生成消息并使用我的 ec2 服务器中安装的 Kafka 消费消息。但是当我尝试在我的nodej中使用Kafka生产者时......

回答 1 投票 0

具有 1 个分区的 kafka 主题。 1 个生产者已在向该分区生产。如果我添加另一个制作人,我会遇到什么问题

我有一个有 1 个分区的主题。 其中一个系统充当生产者并将数据发送到该分区。 我想添加另一个不同的系统作为生产者并将数据发送到该分区...

回答 1 投票 0

Kafka Processor API 中 Header 有什么用?

我正在学习Kafka Processor API并在ProcessorContext中找到一个方法头。 标题() 返回当前输入记录的标题;可能 如果不可用则为 null 我什么...

回答 2 投票 0

Kafka - 日志结束偏移量(LEO)与高水位线(HW)之间的差异

Replica(Leader Replica)中LEO和HW有什么区别? 它们会包含相同的数字吗?我可以理解 HW 是最后提交的消息偏移量。 LEO什么时候更新,如何更新?

回答 3 投票 0

我们可以为Kafka Producer分配源端口吗?

我注意到Kafka Producer使用tcp协议。 有没有办法提前固定多个Kafka生产者的源端口? 或者至少,有什么方法可以跟踪 Ka 的源端口...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.