自定义 kafka 连接器 - 任务配置创建超时

Question

我正在开发定制连接器。我想添加动态水平可扩展性。因此，连接器，类

public class CustomConnector extends SourceConnector

的对象通过在方法

public java.util.List<java.util.Map<String, String>> taskConfigs(int maxTasks)

中提供适当数量的任务配置来创建动态数量的任务。

这里的问题是计算正确的任务配置数量大约需要 6 分钟。当时，kafka-connect 框架认为代理发生了一些问题，连接器被分配给了brokerA，并且框架将连接器重新调度到了不同的代理brokerB。 BrokerA 完成作业并创建

x

任务。然后，brokerB 完成计算，我的任务量是所需量的两倍。

问题：是否有可能增加框架中的超时以等待更多时间的任务？

PS。我知道明显的解决方案是提高计算性能，但这是不可能的。

Answer 1

对于 docker 映像，该属性被称为

CONNECT_SCHEDULED_REBALANCE_MAX_DELAY_MS

，而作为属性则被称为

scheduled.rebalance.max.delay.ms

。