我刚刚开始学习 Kafka,我正在尝试构建一个原型来拥有一个 REST API 生产者并将数据发送给 Kafka 消费者。我浏览了很多文档来找出一些特定的程序。
我无法理解是否有一个连接器可以像文件连接器或为 Apache Kafka 提供的 JDBC 连接器一样使用。我应该为此编写自定义连接器吗?
我很困惑从哪里开始。我特别在寻找一些关于如何完成这项工作的结构化文档或想法。
听起来您在谈论REST Proxy中已经存在的功能。这提供了一个 REST API,用于将数据生成到 Kafka 中,或从 Kafka 中使用数据。
编辑:根据您的评论,我了解到您的问题有所不同。如果您想将数据从 REST 端点拉入 Kafka,您可以使用 Kafka Connect 和 kafka-connect-rest 插件。 这里有一个使用的例子。
无需编写connector(另外,用python写Kafka Connector插件是不可能的)。 HTTP 已经存在一个。