用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。
Kafka:序列化时的消息大于您使用max.request.size配置配置的最大请求大小
得到以下错误(Kafka 2.1.0):2018-12-03 21:22:37.873错误37645 --- [nio-8080-exec-1] osksupport.LoggingProducerListener:发送带key ='的消息时抛出异常...
当多个生产者向Broker写入相同的消息时,Broker会做什么?还有一个相关的问题(由于150个字符的限制)
生产者A将消息写入Broker A(分区1),生产者B将相同的消息写入Broker A(分区1)。消息或经纪人会怎么样?我猜是因为有相同的......
从多个生产者向kafka发送数据时,我收到InterruptedException
我正在尝试使用kafka-clients api运行kafka生产者。我有多个生产者使用单独的线程运行,每个生成器都尝试将数据写入kafka。问题是我得到了打断......
我正在尝试使用以下代码从Kafka读取JSON数据:@source(type ='kafka',bootstrap.servers ='localhost:9092',topic.list ='TestTopic',group.id ='test', threading.option ='单......
我们正在为Kafka使用Spring Cloud Stream,我们正在寻找具有消费者API的Exactly Once Semantics
我们正在使用Spring Cloud Stream for Kafka并寻找Exactly Once Semantics。我们有一个解决方案,正常工作正常1)从生产者2启用Idempotent和交易)...
我有一个有4个主题的kafka制作人。当我根据CSV的类型上传CSV时,我会根据其主题将其发送给消费者。如果我第一次上传它会很好但是一次......
谢谢你的耐心。在线将主题分区添加到主题后,kafka使用者将停止阅读消息,并且不会引发任何异常。消费者只是阻止。每次我们都要重启......
根据我的理解,当我想向Kafka经纪人发送电影(4GB)时,一个制作人将发送一个4GB字节的视频文件(序列化它)并将其发送给kafka经纪人和许多想要...的消费者。
使用Python中的kafka生成器发送数据的问题(Jupyter Notebook)
我正在尝试使用Kafka,Python和Twitter创建大数据分析。我有一个推文数据流,我只采用它们的标签。我的问题出现在制片人Kafka用于...
我有一些我希望通过Kafka制作人发送的列表。 listA [1,2,3] listB [“cat”,“dog”,“fish”]生成器将消息作为字节发送,所以我不确定如何正确设置...
我正在使用Kafka Producer Api将文件中的消息写入kafka主题,但kafka主题的日志显示为空?
我使用生产者API代码下面的代码将消息写入Kafka主题,但它无法将消息写入主题:import java.util.Properties import com.typesafe.config.ConfigFactory import org ....
生产者#initTransactions不适用于KafkaContainer
我尝试通过交易向Kafka发送消息。所以,我使用这段代码:try(Producer producer = createProducer(kafkaContainerBootstrapServers)){producer ....
我有一个td-agent向Kafka队列发送消息没有问题。但现在我收到以下错误。我重新启动了代理,没有运气。我手动冲洗缓冲区没有运气。关于......的任何建议
当我重新启动我的kafka经纪人时,为什么或如何丢失一些消息?
我在单节点中运行kafka,我希望在关闭我的kafka代理时看到kafka Producer行为然后我在几个secondes中重启我的代理,所以我创建spring boot projet我可能会...
选择Kafka进行实时流式传输是否需要以gbps为单位的最低消息速率?我们能否在Kafka处理真正低的消息率?
我使用scala在Kafka中为自定义生成器编写了一个小代码,它给出了以下错误。我在代码部分附加了代码。我附上了一些代码供参考。名称:编译......
当从多个源插入源主题中的记录时,Kafka源连接器不会按预期拉动记录
在我的一个用例中,我试图创建一个管道,每当我从自定义分区发送消息时,我发送时间戳以毫秒为单位,使用LONG数据类型,因为在架构中,时间戳...
使用消费者/生产者API的Kafka的Spring Cloud Stream恰好一次具有transaction-id-prefix的语义不能按预期工作
我有看到不同行为的场景。像总共3个不同的服务一样,第一个服务将从Solace队列中侦听并将其生成到kafka topic-1(启用事务)...
是否可以生成Kafka主题并在单个事务中写入状态存储?但不要将事务作为主题消费的一部分启动。编辑:我这样做的原因是......
我试图在主题上写一些消息,但是控制台不允许我(生产者不等待stdin输入)。我也看不到任何错误日志。主题已成功创建。我在用 : ...