创建“java-pubsub-group-kafka-connector”以将消息从 AWS MSK 发送到 Pub/sub 时出错

Question

我正在使用 java-pubsub-group-kafka-connector 将消息从 AWS MSK 发送到 GCP pub/sub。我创建了 AWS MSK 连接器，状态为正在运行。但是，当向 AWS MSK 发送消息时，一段时间后会在连接器日志中看到此错误：

还发现了这个错误：

Offset commit failed, rewinding to last committed offsets

也许还有另一种解决方案可以将消息从 MSK 发送到 pub/sub？

Answer 1

Amazon MSK 代表 Amazon Managed Streaming for Apache Kafka。

换句话说，当您使用 Apache Kafka API（消费者、生产者或管理员）与它交互时，MSK 就是 Kafka。

提供的链接指向可以连接 MSK（或任何其他 Kafka）集群和 GCP Pub-Sub 的接收器和源连接器。接收器或源连接器应部署在 Kafka Connect 集群上，该集群需要与托管 Kafka 集群紧密相连。这可以是 EC2 上任何类型的自我管理的 Kafka Connect，也可以是任何容器解决方案，只要您知道如何处理即可。或者，这些连接器可以在 MSK Connect 上运行，这是一个托管的 Kafka Connect。

您需要什么：

1.确保运行带连接器的 Kafka Connect 的 VPC/子网与 GCP 端点之间的连接

2.启动Kafka Connect集群，该集群使用MSK作为托管Kafka集群。将这些连接器的二进制文件复制到工作配置中定义的插件目录中。在 MSK Connect 下 - 创建自定义插件

3.使用自管理kafka connect的rest端点或使用MSK Connect API创建连接器

4.祈祷：观察、监控并排除故障，直到成功拉/推一些数据