最大投票记录 vs 最大最大行数 kafka。这两个属性有什么区别?
我正在使用Kafka Sink Task从Kafka主题读取记录。 SinkTask方法中的put()是从中获取所有记录的入口点。当前,连接器启动时,它将一起提取所有未提交的记录。我希望工作者任务一次获取一条记录。怎么做?我应该在连接器配置文件中放入以上哪个属性?
最大轮询记录是Kafka Consumer
:]的配置属性
是最大轮询记录数
:一次调用poll()
所返回的最大记录数。batch.max.rows
Kafka Jdbc Source Connector
的配置属性:batch.max.rows
:轮询新数据时单个批处理中包含的最大行数。此设置可用于限制连接器内部缓冲的数据量。因此,在您的情况下,不能以不适当的方式使用
batch.max.rows
属性,但可以将batch.max.rows
前缀配置为consumer
:
consumer.max.poll.records=1