Kafka connect 仅从 7 个表的列表中创建三个主题

Question

我有 kafka connect 的这个配置

name=jdbc-source-connector-oracle-1
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=3
connection.url=jdbc:oracle:thin:@o22.opsdb-prl.int.iag.cloud:1521:O22
connection.user=
connection.password= 



table.whitelist=tbl1, tbl2, tbl3, tbl4, tbl5, tbl6, tbl7
topic.prefix=tbl_
mode=incrementing
incrementing.column.name=TASK_ID
poll.interval.ms=900000
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter=org.apache.kafka.connect.json.JsonConverter
offset.storage.file.filename="/tmp/task-allocation-offsets.txt"
transforms=InsertTopic
transforms.InsertTopic.type=org.apache.kafka.connect.transforms.InsertField$Value
transforms.InsertTopic.topic.field=messageTopic

为什么kafka connect只创建3个主题。它只是随机创建三个主题而不是 7 个主题。还有谁能解释一下tasks.max属性的作用吗？

Answer 1

仅创建3个主题

它应该创建 11

谁能解释一下tasks.max属性的作用是什么？

对于 JDBC 源 - 没有，因为它仅限于 1。否则，想象一下如果您使用的是 MirrorMaker2，那么任务应该等于要分配的分区数量