kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

kafka +该服务器不是该主题分区+ kafka生产者的领导者

[我们从3台kafka机器中的每台机器的server.log中收到很多错误(集群中有3台kafka)[2019-12-05 13:25:09,529]错误[ReplicaFetcherThread-0-1],分区错误[jdty.dee.rules ....

回答 1 投票 0

ruby-kafka:是否可以同时发布到两个kafka实例

我正在研究的项目的当前流程涉及使用ruby-kafka gem将其推到本地kafka。现在需要增加远程kafka的生产者,并在其中复制消息。并且...

回答 1 投票 0

如何测量卡夫卡生产者每秒产生的消息数量?

我正在为我的大学项目学习Kafka,我想知道一种记录技术,以监视Kafka生产者每秒产生的消息数。感谢您的帮助。

回答 1 投票 0

Python KafkaProducer继续执行操作,因为无法在超时时间内完成挂起的请求,因此强制关闭生产器

在此报告问题。生产者将以下错误抛出。等了一个小时左右,错误消失了。但是当我遇到错误时,我可以使用Kafka工具列出主题,而Kafka ...

回答 1 投票 2

为灾难恢复服务器设置Kafka镜像时丢失消息

Producer.config key.serializer = org.apache.kafka.common.serialization.StringSerializer value.serializer = org.apache.kafka.common.serialization.StringSerializer max.in.flight.requests.per.connection = 1 .. 。

回答 1 投票 0

将单个Kafka主题上的消息分发给特定消费者

单个Kafka主题上的Avro编码消息,单个分区。这些消息中的每一个仅由特定使用者使用。例如,关于此主题的消息a1,a2,b1和c1,有...

回答 2 投票 0

Kafka主题中的丢失消息

[在ProducerRecord中尝试时间戳记;我发现了一些奇怪的东西。在从生产者发送少量消息之后,我运行了kafka-console-consumer.sh并验证了这些消息是否在主题中。我...

回答 1 投票 1

缺少Kafka Producer jmx指标

我们已经在OKD(支持Red Hat OpenShift的Kubernetes的Origin社区发行版)上部署了Spring Boot应用程序。在devops团队没有太多调整的情况下,我们陷入了普罗米修斯的刮擦之中。...

回答 1 投票 1

Kafka消费者从一开始就没有消费

我在本地计算机上安装了Kafka,并启动了zookeeper和一个代理服务器。现在,我有一个主题,其描述如下:〜/ Documents / backups / kafka_2.12-2.2.0 / data / ...

回答 3 投票 0

使用Flink将数据设置为Kafka吗?有可能

我有一个用例,需要将记录从配置单元移动到kafka。我找不到直接将kafka接收器添加到flink数据集的方法。因此,我使用了一种解决方法,将地图称为...

回答 1 投票 2

kafka +起始偏移量要比前一个偏移量高得多

[我们正在使用具有3个kafka节点的kafka集群,其kafka版本为0.10。从kafka日志中我们得到了一个非常奇怪的消息,因为以下开始偏移1432在...的结束偏移1298之后]]

回答 1 投票 0

连接到模式注册表时添加标题

我想从Java生产者应用程序连接到架构注册表时发送一些自定义请求标头。每次使用该应用程序连接到注册表时,我都想发送带有...

回答 1 投票 0

Confluent Python Avro Producer:数据{'..'}不是该模式的示例

我无法为特定架构生成数据,也无法理解原因。通过使用合流的“ avro-random -...

回答 1 投票 0

Apache Kafka分区保证中的消息顺序

阅读有关主题分区中消息排序的本文:https://blog.softwaremill.com/does-kafka-really-guarantee-the-order-of-messages-3ca849fd19d2允许重试而未设置最大值。

回答 3 投票 4

包kafka.producer更改为kafka_2.11后不存在

我已将pom文件中的Kafka版本从2.10更改为2.11,现在我从 org.apache.kafka 了解pom中的错误更改。

回答 1 投票 0


如何在同一主题上使用globalKtable和StateStore?

只是为了澄清,我是Kafka的新手,很抱歉,如果我的问题似乎没有记载,我正在阅读教程,文档以及我能理解的一切。我正在尝试从GlobalStore中读取所有值...

回答 1 投票 0

如何在一条消息中向kafka产生音频(.wav)

为了使用大数据技术应用实时语音分析,我试图在一开始使用KAFKA。因此,首先我使用WAVIO API将.wav文件转换为字节,然后发送消息...

回答 1 投票 1

Kafka和数据库调用之间的Spring @Transactional问题

我正在尝试检查Kafka和数据库调用(Postgres)之间的事务状态,如果数据库调用失败,则Kafka不应将该特定消息发送到Kafka主题上。我是...

回答 1 投票 0

Kafka服务器节点因“打开的文件过多”错误而关闭

我们使用的是3个节点的Kafka群集,共有151个主题,每个主题都有1个分区。并且我们已经配置了复制因子= 3。当我们启动kafka经纪人时,出现以下错误:...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.