Kafka 连接器在 MSK Connect 3.7.x 中每 6 分钟重新启动一次

问题描述 投票:0回答:1

我正在尝试将 MSK Connect (AWS) 中的 Kafka 连接器从 2.7.1 升级到 3.7.x。从功能上来说,升级后它们似乎工作得很好。但在观察 CloudWatch 中这些连接器的日志后,我发现工作人员每 6 分钟就会收到一次关闭信号,就好像它按照某个时间表发生一样。这在 MSK Connect 2.7.1 中从未发生过,看起来令人担忧。

更重要的是,日志中没有任何错误或任何明显的迹象表明为什么会发生这种情况,它只是发生在具有可预测间隔的所有连接器上。这些连接器之一是用于 PostgreSQL 的Debezium 源连接器

这就是日志中的样子:

[Worker-0e653f67ac8006d1a] [2025-01-14 14:53:34,312] INFO Worker starting (org.apache.kafka.connect.runtime.Worker:231)
[Worker-0e653f67ac8006d1a] [2025-01-14 14:53:37,075] INFO Worker started (org.apache.kafka.connect.runtime.Worker:241)
[Worker-0e653f67ac8006d1a] MSK Connect graceful shutdown initiated...
[Worker-0e653f67ac8006d1a] [2025-01-14 14:59:27,702] INFO Worker stopping (org.apache.kafka.connect.runtime.Worker:248)
[Worker-0e653f67ac8006d1a] [2025-01-14 14:59:28,166] INFO Worker stopped (org.apache.kafka.connect.runtime.Worker:269)
[Worker-0e653f67ac8006d1a] [2025-01-14 14:59:34,570] INFO Worker starting (org.apache.kafka.connect.runtime.Worker:231)
[Worker-0e653f67ac8006d1a] [2025-01-14 14:59:37,279] INFO Worker started (org.apache.kafka.connect.runtime.Worker:241)
[Worker-0e653f67ac8006d1a] MSK Connect graceful shutdown initiated...
[Worker-0e653f67ac8006d1a] [2025-01-14 15:05:27,370] INFO Worker stopping (org.apache.kafka.connect.runtime.Worker:248)
[Worker-0e653f67ac8006d1a] [2025-01-14 15:05:27,673] INFO Worker stopped (org.apache.kafka.connect.runtime.Worker:269)
[Worker-0e653f67ac8006d1a] [2025-01-14 15:05:33,988] INFO Worker starting (org.apache.kafka.connect.runtime.Worker:231)
[Worker-0e653f67ac8006d1a] [2025-01-14 15:05:36,585] INFO Worker started (org.apache.kafka.connect.runtime.Worker:241)
[Worker-0e653f67ac8006d1a] MSK Connect graceful shutdown initiated...
[Worker-0e653f67ac8006d1a] [2025-01-14 15:11:27,786] INFO Worker stopping (org.apache.kafka.connect.runtime.Worker:248)
[Worker-0e653f67ac8006d1a] [2025-01-14 15:11:28,191] INFO Worker stopped (org.apache.kafka.connect.runtime.Worker:269)
[Worker-0e653f67ac8006d1a] [2025-01-14 15:11:34,563] INFO Worker starting (org.apache.kafka.connect.runtime.Worker:231)
[Worker-0e653f67ac8006d1a] [2025-01-14 15:11:37,072] INFO Worker started (org.apache.kafka.connect.runtime.Worker:241)

而且它永远不会结束。这是正常的吗?为什么会发生这种事?

我尝试过更改不同的配置属性并最小化它们,但没有成功。另外,我在 MSK 和 Kafka 文档/变更日志中进行了广泛的搜索,但没有找到任何提示。另外,我已经使用 confluenceinc/cp-kafka-connect:7.8.0 Docker 映像在本地 Kafka Connect 堆栈中运行了所有连接器,它工作得很好并且不会关闭。此时我很绝望,希望我只是错过了 Kafka Connect 3 版本之一引入的一些重要更改。

此外,我还创建了自己的虚拟接收器连接器,它完全不执行任何操作。对于任何收到的消息,它只请求偏移量提交。配置仅包含必需的属性:

{
  "connector.class": "com.dummy.DummySinkConnector",
  "tasks.max": "1",
  "topics": "mytopic"
}

仍然是相同的结果 - 没有错误,仅每 6 分钟重新启动一次。我感觉这只是 MSK Connect 3.7.x 中的一个错误

apache-kafka apache-kafka-connect aws-msk aws-msk-connect
1个回答
0
投票

嗨,我只是想回应这个问题,这也确实发生在我们的 MSKC 上。 我们的 MSK 是 3.6.0,MSKC 3.7.x,正如您提到的,每 6 分钟就会看到一次定期的 AdminClient 节点断开连接 -1 和 MSK Connect 正常关闭。目前我们将 MSKC 回滚到 2.7.1,但需要 AWS 的解释。感谢您分享这个问题。所以我可以说我没有在一起。

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.