如何在Minikube中运行Kafka-Connect？

Question

要在本地 Mac 中运行 cp S3-connect 来使用 kafka 主题，我做了如下所示的操作

    1. Installed Confluent Kafka connector and ran the kafka connect-standalone.sh
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ confluent-hub install confluentinc/kafka-connect-s3:latest --component-dir /usr/local/share/java --worker-configs config/connect-distributed.properties 

ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ cd kafka_2.12-2.5.0

ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ bin/connect-standalone.sh config/connect-standalone.properties s3-sink.properties. // s3-sink.properties connector.class=io.confluent.connect.s3.S3SinkConnector

现在，为了在 minikube 中运行 Kafka S3 连接，我在本教程的帮助下使用 cp-helm-charts 在 minikube 中安装了 Kafka-connect(kafka-connect-s3) 使用带有 Helm 安装的 Kafka/Confluence 的连接器。

1. 如何在 kafka-connect pod 中复制 kafka 配置和脚本文件？
2. 是否需要登录kafka-connect pod才能运行 connect-standalone.sh 命令？

Answer 1

有一个从头开始的程序这里。唯一的要求是 Minikube。

您需要的步骤如下：

0. 启动 Minikube
1. 使用 Strimzi Operator 部署 Kafka 集群
2. 构建您自己的自定义映像，包括所需的插件和依赖项
3. 使用该镜像以分布式模式部署 Kafka Connect 集群
4. 创建一个传递配置 YAML 的 KafkaConnector 实例

Answer 2

如何在 kafka-connect pod 中复制 kafka 配置和脚本文件

您不应该复制任何内容。一切都是由环境变量配置的。 Helm 图表应该主要记录这些变量是如何工作的。

Docker 镜像使用 Connect Distributed，它是通过 REST API 启动的，而不是属性文件。并且

confluentinc/cp-kafka-connect

已经包含 S3 Connect

Answer 3

您还可以查看https://strimzi.io/。 该项目旨在使 Kubernetes 上的 Kafka 和 Kafka Connect 集群的安装和管理变得非常容易。