kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

Kafka 生产者超时异常:1 条记录即将过期

我正在使用 Kafka 和 Spring-boot: 卡夫卡生产者类: @服务 公共类 MyKafkaProducer { @Autowired 私人 KafkaTemplate kafkaTemplate; 私人静态

回答 5 投票 0

kafka topic 中理想的分区数是多少?

我正在学习 Kafka 并尝试为我最近的搜索应用程序创建一个主题。假设推送到 kafka 主题的数据数量很大。 我的 kafka 集群有 3 个代理,并且有

回答 3 投票 0

Kafka 生产者说“unknown_topic_or_partition”

我已经尝试让 kafka-docker 工作几天了,但我不知道我做错了什么。现在,我无法使用 ruby-kafka 客户端访问任何主题,因为该节点“不存在”。 ...

回答 2 投票 0

错误 org.apache.kafka.common.utils.KafkaThread - 线程“kafka-生产者-网络-线程”中未捕获异常

我正在尝试创建生产者并从intellij idea向其发送一些数据,但是在运行该程序时,我遇到了类似错误org.apache.kafka.common.utils.KafkaThread - 未捕获的异常...

回答 2 投票 0

NotEnoughReplicasException 与 min.insync.replicas 的意外行为

这是我之前问题的延续 我正在探索 kafka 的 min.insync.replicas,总结如下: 在本地设置 3 个代理,创建一个与 min.insync.replicas=2 同步的主题。 混乱...

回答 1 投票 0

foreachPartition 中 Kafka Producer 的 PySpark 序列化问题

我正在使用 PySpark 并尝试使用 confluence-kafka 库的 Producer 将分区的 DataFrame 发送到 Kafka。然而,我遇到了 Kafka 生产者的序列化问题......

回答 1 投票 0

如何减少使用脚本向Kafka Producer发送文件内容时的延迟?

我想编写一个bash脚本来不断地将新文件添加到文件夹中,并使用cat将文件内容发送到Kafka生产者: cat $FILEPATH |$KAFKA_HOME/bin/kafka-console- Producer.sh --

回答 1 投票 0

如何安装适用于 PHP 的 Kafka 扩展?

这是我尝试安装的扩展:https://github.com/EVODelavega/phpkafka 传递到队列的消息应采用 JSON 格式。 目前,我遇到安装错误: ...

回答 4 投票 0

Apache-Kafka,batch.size 与 buffer.memory

我试图找出Kafka Producer中batch.size和buffer.memory设置之间的区别。 据我了解,batch.size:它是可以发送的批次的最大大小。

回答 3 投票 0

Kafka Streams - 已删除的目标主题

出于测试目的,我删除了目标主题,并预计应用程序会在一段时间后超时。然而,经过一些研究,我了解到 Kafka Streams 默认会重试消息

回答 1 投票 0

“acks”配置是否适用于 KafkaProducer 客户端的“sender”线程?

我有几个关于 KafkaProducer 客户端的异步性质的问题,官方文档没有回答这些问题。 背景: 我正在做一个项目,我需要记录...

回答 1 投票 0

Azure Function Multioutput 定义参数

我使用 Azure Function v4 和 .NET 8.0 作为独立进程,并希望使用多个输出绑定,如此处所述。 它看起来像这样: 公共类多输出类型 { [卡夫卡输出(“

回答 1 投票 0

服务nodejs连接容器kafka laradock结果超时

使用 Node js 上的这段代码,我创建了简单的测试数据来生成消息: const kafka = require('kafka-node'); // 使用 Kafka 代理的主机名 (kafka) 和端口 (9092) 创建 Kafka 客户端 ...

回答 1 投票 0

Kafka Producer - Spring Boot 应用程序 - 无法生成消息

我也在学习Spring Boot和Kafka。我进行了一些探索并配置了一个示例生产者应用程序,如下所示。但是我无法发布这些消息。 如果我能得到那就太好了

回答 1 投票 0

Kafka幂等生产者

根据文档,幂等的 kafka 生产者维护一个序列号,确保事件的重复数据删除和排序。 这是否意味着在单个制作人会话中,

回答 1 投票 0

Kafka 控制台生产者什么也没返回

嗨,我正在经历快速启动,当我首先输入 bin/kafka-console- Producer.sh --broker-list localhost:9093 --topic 时遇到错误 当我期待的时候我什么也没有得到......

回答 2 投票 0

提高 Kafka Producer 性能:使用多个 Kafka 模板与具有动态主题的单个模板

我正在开发一个应用程序,需要将记录发送到同一 Kafka 集群中的不同主题。我已经探索了两种方法来实现这一目标,但我不确定它们对性能的影响......

回答 1 投票 0

使用Python,如何生成大于1MB的kafka消息?

我试图通过kafka传输一些巨大的json数据,但它没有发生。 python 生产者没有错误,消费者端也没有任何消息。 生产者 = KafkaProducer(bootstrap_se...

回答 2 投票 0

某些消息随机获取 IAMClientCallbackHandler 类未找到异常

在我们目前的用例中,我们一条一条地发送消息[不是批量]以维持传入的顺序顺序,同时一条一条地发送大约 5000 多条消息或使用

回答 1 投票 0

在使用 MockProducer 调用 send 之前给出完成指令

我有以下代码(显然是作为示例): 类随机类( val制作人:制作人 ){ 有趣的 randomFunction(): 布尔值 { // 使用 .get() 因为我想

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.