如何将 Kafka Connect 适配器与 Amazon MSK 结合使用? 根据 AWS 文档,它支持 Kafka 连接,但没有记录如何设置适配器和使用它。
编辑 2021 年 10 月:MSK Connect 已启动,请参阅 https://aws.amazon.com/blogs/aws/introducing-amazon-msk-connect-stream-data-to-and-from-your-apache-卡夫卡集群使用托管连接器/
据我所知,Amazon MSK 不提供托管连接器,因此您必须自己运行它们。这是通过运行 Kafka Connect 工作进程(JVM)然后为其提供一个或多个要运行的连接器配置来完成的。
从 Kafka Connect Worker 的角度来看,它只需要连接一个 Kafka 集群即可;无论是 MSK 还是本地都无关紧要,因为它最终“只是”下面的消费者/生产者。
如果您对云中的托管连接器感兴趣,请查看 Confluence Cloud 中提供的连接器。
免责声明:我为 Confluence 工作:)
AWS 现已支持 MSK Connect,这是基于 Kafka Connect 的 MSK 服务的一项新功能,允许您部署为 Kafka connect 构建的托管 Kafka 连接器
这有两个方面
Kafka Connect 是一个框架,应与 kafka 代理分开部署。 MSK 仅提供 kafka 经纪人。如果您想将 Kafka Connect 与 MSK 结合使用,您需要使用 EC2 实例并部署 kafka 二进制文件。Kafka Connect 框架与 kafka 捆绑在一起
如果您没有融合订阅或类似服务,请使用连接器 - 恐怕您的选择会非常有限。但话虽如此,您始终可以编写自己的连接器。编写新的连接器并不困难,您可以应用您的业务特定逻辑并很快上路。