apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

在 Docker/ECS 上运行带有 S3 Sink 的 Kafka Connect 不会生成 S3

我正在尝试在弹性容器服务上运行带有 s3 接收器的 Kafka Connect（从 Kafka 读取并写入 S3）。 Dockerfile 来自 confluenceinc/cp-kafka-connect-base:最新 WORKDIR /etc/kafka-connect 复制

docker amazon-s3 apache-kafka apache-kafka-connect

回答 1 投票 0

KRaft模式下的Kafka不断询问Zookeeper

我有这个 docker-compose 配置：卡夫卡：图片：confluenceinc/cp-kafka：最新容器名称：'virl-kafka' 重新启动：始终端口： - “9092:9092” 环境...

apache-kafka docker-compose apache-kafka-connect apache-zookeeper confluent-platform

回答 1 投票 0

对于 Kafka mongo 接收器连接器，我想映射现有的相同对象 ID

我正在使用 mongodb 的 kafka 接收器连接器。这里我想将一些json文档从kafka主题推送到mongodb，但是我在文档中使用$oid时遇到错误。下面是错误： {“名字...

mongodb apache-kafka apache-kafka-connect

回答 2 投票 0

Debezium 连接器将 kafka 密钥作为 avro 插入？

我正在寻找一个 debezium mysql 连接器，将 CDC 记录流式传输到 kafka，其中键为字符串（不是 avro 键），值作为 avro 记录。默认情况下，它会将密钥作为 avro 记录。有什么建议吗？

apache-kafka-connect debezium

回答 1 投票 0

使用kafka connect时hdfs中没有avro数据

我正在使用kafka connect发行版。命令是：bin/connect-distributed etc/schema-registry/connect-avro-distributed.properties 工作人员配置为： bootstrap.servers=kafka1:...

apache-kafka apache-kafka-connect confluent-platform

回答 2 投票 0

在 Apache Airflow 中设置 Kafka 连接时出错 - “必须提供 config['bootstrap.servers']”

我在尝试在 Apache Airflow 中建立与 Apache Kafka 的连接时遇到错误。我收到的具体错误消息是“必须提供 config['bootstrap.servers']”。绝望...

python apache-kafka airflow apache-kafka-connect

回答 1 投票 0

debezium 日期/时间字段值超出范围：0000-12-30T00:00:00Z

我们使用 Debezium 将数据同步到在源表中我们有列timestamptz start_at，当值为0时start_at='0001-01-01 00:00:00.000000 +00:00'，但是当我们检查kafka中的数据时，它是

postgresql apache-kafka apache-kafka-connect debezium

回答 1 投票 0

使用kafka密钥的kafka s3连接器分区

如何使用 kafka msg key 作为 s3 连接器中的分区标准或我怎样才能获得密钥并将其存储在 s3 对象中谢谢！

apache-kafka apache-kafka-connect

回答 2 投票 0

Kafka Connect S3 Sink 添加元数据

我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。目前，输出只是来自 kafka 主题的消息的值。我想用下面的东西把它包起来......

amazon-s3 apache-kafka apache-kafka-connect s3-kafka-connector

回答 2 投票 0

Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器，其中包含 debezium/zookeeper、debezium/kafka 和 debe...

java apache-kafka apache-camel apache-kafka-connect azure-data-lake

回答 1 投票 0

如何设置接收器 JDBC 连接器的目标表名称？

我有一个 JDBC 接收器连接器从 Postgres 源连接器检索数据，我需要将数据从我的“parametros”源表复制到我的“parametros_sistema”目标表...

java postgresql apache-kafka apache-kafka-connect confluent-platform

回答 1 投票 0

覆盖 kafka-connect 连接器中的 schemas.enable

我有一个分布式 Kafka Connect (6.x) 集群，安装了多个连接器。键和值转换器设置为 org.apache.kafka.connect.json.JsonConverter。对于其中一个连接器（S...

json apache-kafka apache-kafka-connect

回答 2 投票 0

Kafka Connect：2 个数据库之间的双向复制

我的团队需要在 2 个（甚至更多，但现在我们还是使用 2 个）数据库（PostgreSQL 免费版）之间实现某种复制。我们决定尝试 Kafka Connect 与 Debezium Postgr...

postgresql apache-kafka apache-kafka-connect debezium

回答 1 投票 0

AWS MSK Connect MirrorMaker2 - 刷新失败

在 MSK Connect (2.7.1) 上使用 MirrorMaker2，源连接器抛出以下错误： [Worker-0d8c5a576b5ef6e99] [2023-12-22 16:01:00,771] 错误 [msk-dev-conv-mm2-sourceconnector|task-1|o...

apache-kafka-connect aws-msk apache-kafka-mirrormaker aws-msk-connect

回答 1 投票 0

使用flink-sql，如何创建一个使用通配符/正则表达式从多个主题读取的表

我在 flink-sql 应用程序中创建了 2 个具有完全相同结构的表..可以说创建表 t1_g1 （ `id` INT, `名称` 字符串） WITH ('连接器' = '卡夫卡', '托皮...

apache-kafka-connect flink-sql

回答 1 投票 0

Avien OpenSearch Sink Connector：引发版本冲突

我们正在使用 Avien OpenSearch Kafka Sink 连接器将文档从 Kafka Topic 移动到 OpenSearch。但已经多次看到下面的版本冲突消息（20-30/10 分钟）。 [2023-12...

elasticsearch apache-kafka-connect opensearch amazon-opensearch

回答 1 投票 0

Kafka-MongoDB 源和接收器连接器

我创建了一个 3 VM Kafka 集群，并在每个 VM 上安装了 mongoDB。另外，运行 kafka-mongoDB 连接器。我在第一个虚拟机上的源连接器配置是： { “名称”：“来源1”， ...