kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

Kafka:序列化时的消息大于您使用max.request.size配置配置的最大请求大小

得到以下错误(Kafka 2.1.0):2018-12-03 21:22:37.873错误37645 --- [nio-8080-exec-1] osksupport.LoggingProducerListener:发送带key ='的消息时抛出异常...

回答 3 投票 2

当多个生产者向Broker写入相同的消息时,Broker会做什么?还有一个相关的问题(由于150个字符的限制)

生产者A将消息写入Broker A(分区1),生产者B将相同的消息写入Broker A(分区1)。消息或经纪人会怎么样?我猜是因为有相同的......

回答 1 投票 0

从多个生产者向kafka发送数据时,我收到InterruptedException

我正在尝试使用kafka-clients api运行kafka生产者。我有多个生产者使用单独的线程运行,每个生成器都尝试将数据写入kafka。问题是我得到了打断......

回答 1 投票 0

WSO2 SP - 具有JSON属性的Kafka源

我正在尝试使用以下代码从Kafka读取JSON数据:@source(type ='kafka',bootstrap.servers ='localhost:9092',topic.list ='TestTopic',group.id ='test', threading.option ='单......

回答 1 投票 4

我们正在为Kafka使用Spring Cloud Stream,我们正在寻找具有消费者API的Exactly Once Semantics

我们正在使用Spring Cloud Stream for Kafka并寻找Exactly Once Semantics。我们有一个解决方案,正常工作正常1)从生产者2启用Idempotent和交易)...

回答 1 投票 0

一旦我们的数据被处理,如何刷新kafka队列?

我有一个有4个主题的kafka制作人。当我根据CSV的类型上传CSV时,我会根据其主题将其发送给消费者。如果我第一次上传它会很好但是一次......

回答 1 投票 3

在线为kafka添加分区或代理是否安全?

谢谢你的耐心。在线将主题分区添加到主题后,kafka使用者将停止阅读消息,并且不会引发任何异常。消费者只是阻止。每次我们都要重启......

回答 2 投票 3

生产者和消费者在发送视频文件时通常如何工作?

根据我的理解,当我想向Kafka经纪人发送电影(4GB)时,一个制作人将发送一个4GB字节的视频文件(序列化它)并将其发送给kafka经纪人和许多想要...的消费者。

回答 2 投票 4

使用Python中的kafka生成器发送数据的问题(Jupyter Notebook)

我正在尝试使用Kafka,Python和Twitter创建大数据分析。我有一个推文数据流,我只采用它们的标签。我的问题出现在制片人Kafka用于...

回答 1 投票 0

使用python将列表发送给Kafka生产者

我有一些我希望通过Kafka制作人发送的列表。 listA [1,2,3] listB [“cat”,“dog”,“fish”]生成器将消息作为字节发送,所以我不确定如何正确设置...

回答 2 投票 0

我正在使用Kafka Producer Api将文件中的消息写入kafka主题,但kafka主题的日志显示为空?

我使用生产者API代码下面的代码将消息写入Kafka主题,但它无法将消息写入主题:import java.util.Properties import com.typesafe.config.ConfigFactory import org ....

回答 2 投票 0

生产者#initTransactions不适用于KafkaContainer

我尝试通过交易向Kafka发送消息。所以,我使用这段代码:try(Producer producer = createProducer(kafkaContainerBootstrapServers)){producer ....

回答 2 投票 0

td-agent fluentd无法向Kafka发送消息

我有一个td-agent向Kafka队列发送消息没有问题。但现在我收到以下错误。我重新启动了代理,没有运气。我手动冲洗缓冲区没有运气。关于......的任何建议

回答 1 投票 0

当我重新启动我的kafka经纪人时,为什么或如何丢失一些消息?

我在单节点中运行kafka,我希望在关闭我的kafka代理时看到kafka Producer行为然后我在几个secondes中重启我的代理,所以我创建spring boot projet我可能会...

回答 1 投票 0

Kafka实时流媒体与微服务

选择Kafka进行实时流式传输是否需要以gbps为单位的最低消息速率?我们能否在Kafka处理真正低的消息率?

回答 1 投票 1

在scala中创建自定义生成器时出错

我使用scala在Kafka中为自定义生成器编写了一个小代码,它给出了以下错误。我在代码部分附加了代码。我附上了一些代码供参考。名称:编译......

回答 2 投票 0

当从多个源插入源主题中的记录时,Kafka源连接器不会按预期拉动记录

在我的一个用例中,我试图创建一个管道,每当我从自定义分区发送消息时,我发送时间戳以毫秒为单位,使用LONG数据类型,因为在架构中,时间戳...

回答 1 投票 0

使用消费者/生产者API的Kafka的Spring Cloud Stream恰好一次具有transaction-id-prefix的语义不能按预期工作

我有看到不同行为的场景。像总共3个不同的服务一样,第一个服务将从Solace队列中侦听并将其生成到kafka topic-1(启用事务)...

回答 1 投票 0

kafka生成主题并在单个事务中写入状态存储

是否可以生成Kafka主题并在单个事务中写入状态存储?但不要将事务作为主题消费的一部分启动。编辑:我这样做的原因是......

回答 2 投票 0

Kafka控制台生产者不允许写消息

我试图在主题上写一些消息,但是控制台不允许我(生产者不等待stdin输入)。我也看不到任何错误日志。主题已成功创建。我在用 : ...

回答 4 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.