kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

KAFKA 提交问题

我是 KAFKA 经纪人的新手,根据要求生产者必须提交消息。(使用 librdkafka c/c++ 库) 所以,首先在我的 producer.c 中我使用了 rd_kafka_commit (rk,NULL,0) 但我得到了...

回答 1 投票 0

多个 kafka 生产者线程得到 spawn

我是kafka的新手。我有两个卡夫卡经纪人,我正试图通过这两个经纪人推送数据。一个是主要的,另一个是备用的。 我正在做一个小分析,我正在将数据推送到...

回答 1 投票 0

Kafka 分区不匹配 MurmurHash2 32 位算法

我正在研究灾难恢复功能,我需要确定给定密钥的 Kafka 分区以便重播来自该分区的消息。我读过如果向 Kafka 提供密钥......

回答 1 投票 0

Confluent Kafka:当我将 acks 设置为 0 时,我是否应该在生成消息后进行轮询?

我有一个关于优化我的 kafka 生产者的问题(使用 confluent-kafka 库在 python 中工作)。我有一个主题,确认领导者收到消息并不重要......

回答 0 投票 0

在事务流api Alpakka中,事务Id要传递什么值?

使用Alpakka,我想使用Transactional.Source Api消耗记录,并使用Transactional.flow将其生成到另一个主题,但文档说我们需要传递transactionId。我应该如何...

回答 1 投票 1

避免Kafka生产者信息的重复

我使用KafkaTemplate从Spring boot.Java 8我的主要目的是,消费者不应该消耗的消息两次。1) 调用一个表获取100行并发送给Kafka 2) 假设我在处理...

回答 1 投票 0

避免Kafka生产者信息的重复

我使用KafkaTemplate从Spring boot.Java 8我的主要目的是,消费者不应该消耗的消息两次。1) 调用一个表获取100行并发送给Kafka 2) 假设我在处理...

回答 1 投票 0

事务性Kafka生产者

我正试图使我的kafka生产者成为事务性的。我正在发送10条消息.如果发生任何错误,没有消息应该被发送到kafka即没有或全部。我使用的是Spring Boot KafkaTemplate。

回答 1 投票 0

在SASL握手过程中,意外的METADATA类型的Kafka请求。

我试图使用SASL Plain将Kafka Java Client连接到Kafka broker。但是当我尝试从生产者发送消息时,Kafka服务器记录了以下错误。[2020-04-30 14:48:14,955] ...

回答 1 投票 0

KAFKA:分离并重试(还剩1次尝试)。错误:MESSAGE_TOO_LARGE。MESSAGE_TOO_LARGE。

我正在发送10条消息。2条消息是 "正确的",1条消息的大小超过1MB,由于RecordTooLargeException,被Kafka broker拒绝。我有2个疑问 1) MESSAGE_TOO_LARGE只出现在...

回答 1 投票 0

在Kafka Send()方法的Onfailure()方法调用中获取Objects值。

我想获取那些没有被发送到Kafka的Person对象,即onFailure()方法。1)我创建了人名类型的临时数组,并将其传递给onFailure().但这并不奏效,它总是显示......。

回答 1 投票 0

Kafka用完全写好的存贮器来经纪下来

Kafka经纪商下来与完全写的存储空间,我已经尝试产生尽可能多的消息,因为经纪人可以处理。随着完全写的存储(8GB)经纪人都停止了,他们不能再次与这个......

回答 1 投票 1

如何将Kafka Connect中的SourceRecord转换为AVRO?

我有一个用例,我需要将SourceRecord转换为GenericRecord。谁能帮助我如何做?基本上,我正在编写一个自定义的Kafka生产者,并将其嵌入到Connect运行时......

回答 1 投票 0

Kafka Producer在eclipse中不发送消息到主题。

我无法从Windows(Host OS)上的eclipse使用java从KafkaProducer发送消息到Hortonworks Sandbox上运行的kafka主题。我的java代码如下 import java.util.Properties; import ...

回答 1 投票 0

Kakfa Producer - Spring Boot应用程序 - 无法生成消息

我也是刚刚学习spring boot和kakfa。我探索了一下,并配置了一个示例生产者应用,如下图。但是我无法发布消息。如果我得到的是...

回答 1 投票 0

我如何创建一个既是kafka消费者又是kafka生产者的组件?

我试图创建一个组件,从一个主题消耗数据,处理数据并发送到另一个主题,也就是说,我需要让我的组件既是消费者又是生产者。我如何配置这个...

回答 1 投票 0

kafka服务器在windows环境下运行一段时间后会崩溃

我目前正在尝试一些测试,其中包括Kafka来发送和接收消息。在我的应用中,我有一个简单的Kafka生产者,它定期产生消息,而Kafka接收器......

回答 1 投票 0

Kafka极高延迟的C#

我正在Apache Kafka上做一些性能测试,以便与RabbitMQ和ActiveMQ等其他软件进行比较。我的想法是将它用于代理通信的消息系统。我正在测试多个...

回答 1 投票 0

当数据从生产者推送时,Kafka Node间歇性崩溃

我们有一个3节点的Kafka集群(版本5.2.1,apache kafka版本:2.2.0)。有一段时间,我们观察到一个异常,每当我们尝试推送 ...

回答 1 投票 0

如何从Kafka全局状态存储中删除记录?

在恢复过程中,全局状态存储将从源主题中转储数据(这被认为是全局存储的变更日志主题)。对于删除记录,我做了如下的操作 kvStore.put("key-...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.