将消息从 Amazon MSK 转发到 GCP pub/sub

Question

是否有任何连接器可以将 AWS MSK 与 GCP 发布/订阅服务连接起来？我找到了这篇文章，但似乎这篇文章是为卡夫卡而写的。有什么建议吗？

Answer 1

亚马逊 MSK 代表

Amazon Managed Streaming for Apache Kafka

。

换句话说，当您使用 Apache Kafka API（消费者、生产者或管理员）与它交互时，MSK 就是 Kafka。

提供的链接指向可以连接 MSK（或任何其他 Kafka）集群和 GCP Pub-Sub 的接收器和源连接器。接收器或源连接器应部署在 Kafka Connect 集群上，该集群需要与托管 Kafka 集群紧密相连。这可以是 EC2 上任何类型的自我管理的 Kafka Connect，也可以是任何容器解决方案，只要您知道如何处理即可。或者，这些连接器可以在 MSK Connect 上运行，这是一个托管的 Kafka Connect。

您需要什么：

1. 确保运行带有连接器的 Kafka Connect 的 VPC/子网与 GCP 端点之间的连接
2. 启动 Kafka Connect 集群，该集群使用 MSK 作为托管 Kafka 集群。将这些连接器的二进制文件复制到工作配置中定义的

   plugin

   目录。在 MSK Connect 下 - 创建自定义插件
3. 使用自我管理的 kafka connect 的其余端点或使用 MSK Connect API 创建连接器
4. 祈祷：观察、监控和排除故障，直到成功拉/推一些数据