Kafka 连接 Amazon MSK

问题描述 投票:0回答:3

如何将 Kafka Connect 适配器与 Amazon MSK 结合使用? 根据 AWS 文档,它支持 Kafka 连接,但没有记录如何设置适配器和使用它。

apache-kafka apache-kafka-connect amazon-msk
3个回答
29
投票

编辑 2021 年 10 月:MSK Connect 已启动,请参阅 https://aws.amazon.com/blogs/aws/introducing-amazon-msk-connect-stream-data-to-and-from-your-apache-卡夫卡集群使用托管连接器/


据我所知,Amazon MSK 不提供托管连接器,因此您必须自己运行它们。这是通过运行 Kafka Connect 工作进程(JVM)然后为其提供一个或多个要运行的连接器配置来完成的。

从 Kafka Connect Worker 的角度来看,它只需要连接一个 Kafka 集群即可;无论是 MSK 还是本地都无关紧要,因为它最终“只是”下面的消费者/生产者。


如果您对云中的托管连接器感兴趣,请查看 Confluence Cloud 中提供的连接器

免责声明:我为 Confluence 工作:)


4
投票

AWS 现已支持 MSK Connect,这是基于 Kafka Connect 的 MSK 服务的一项新功能,允许您部署为 Kafka connect 构建的托管 Kafka 连接器

在此处查看公告:https://aws.amazon.com/blogs/aws/introducing-amazon-msk-connect-stream-data-to-and-from-your-apache-kafka-clusters-using-management -连接器/


2
投票

这有两个方面

  1. Kafka Connect 是一个框架,应与 kafka 代理分开部署。 MSK 仅提供 kafka 经纪人。如果您想将 Kafka Connect 与 MSK 结合使用,您需要使用 EC2 实例并部署 kafka 二进制文件。Kafka Connect 框架与 kafka 捆绑在一起

  2. 如果您没有融合订阅或类似服务,请使用连接器 - 恐怕您的选择会非常有限。但话虽如此,您始终可以编写自己的连接器。编写新的连接器并不困难,您可以应用您的业务特定逻辑并很快上路。

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.