apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

如何配置Kafka Connect日志?

我正在使用confluence kafka jdbc连接器(https://github.com/confluenceinc/kafka-connect-jdbc),但我没有找到/etc/kafka/connect-log4j.properties文件,该文件是描述于 https://docs.confl...

回答 1 投票 0

如何重置 Apache Kafka-Connect 服务器中的源连接器偏移量

从 Kafka 连接中删除源连接器后,该连接器保存的偏移量仍然存在于 Kafka 中。 当具有相同名称的相同连接器再次启动时,它会开始

回答 4 投票 0

Kafka 连接 Jdbc 接收器连接器不自动创建表

我正在使用kafka的docker镜像和kafka连接使用debezium测试cdc,并且数据库是独立的 我的接收器连接器配置 json 看起来像这样, { “姓名”:“...

回答 1 投票 0

如何配置Confluence Platform Kafka jdbc连接日志?

我正在使用confluence kafka jdbc连接器(https://github.com/confluenceinc/kafka-connect-jdbc),但我没有找到/etc/kafka/connect-log4j.properties文件,该文件是描述于 https://docs.confl...

回答 1 投票 0

有没有办法将Amazon MSK Topic直接转储到S3?

我计划使用 Amazon MSK 并且我想将消费者日志转储到 S3 。但我没有看到任何选择。我是否需要编写自己的消费者,或者有没有办法将 Amazon MSK 消费者输出消费到...

回答 3 投票 0

无法通过引用链从 START_OBJECT 反序列化 `java.lang.String` 实例:java.util.LinkedHashMap[\"key.schema\"

嗨,两周以来我一直遇到一个问题,我正在尝试使用 CSV 源连接器在 kafka 分区中上传 CSV。首先,我在 Windows 11 上尝试使用first.row.as.header:true, Source

回答 1 投票 0

如何使用 Debezium 处理 OracleDB 中经典的空字符串转换为 NULL

我正在使用 Kafka 集群,该集群将 MySQL 数据库中包含的数据复制到旧的 Oracle 数据库,以实现我已将源数据库连接到 Debezium Mysql 连接器和接收器数据库...

回答 1 投票 0

从多个表读取数据到单个主题

是否可以在jdbc连接器中将多个表中的数据读取到单个主题中? 我读过有关相同内容的某些文章,发现可以使用 ksql db 或数据流来完成,但可以......

回答 1 投票 0

无法在 Windows 11 中使用 SpoolDirCsvSourceConnector 创建用于 CSV 到 Kafka 的 kafka 连接源和接收器连接器

我想使用此存储库将我的 testdata.csv 上传到 Kafka 主题。现在,curl 命令无法创建自定义连接器curl -i -X PUT -H "Accept:application/json" -H "Conten...

回答 1 投票 0

Kafka Connect SMT 具有缓存值查找功能

我正在使用 Kafka Connect 接收器连接器从 Kafka 读取事件并将其插入数据库。 某些事件在其值负载中包含引用。我想使用 SMT 来解决这些问题...

回答 1 投票 0

Apache Kafka Neo4j 连接器问题

我按以下方式设置kafka neo4j接收器连接器: 创建 /tmp/plugins,下载 neo4j-kafka-connect-neo4j-5.0.2.zip 并解压到插件文件夹中,即 修改connect-standalone.properti...

回答 1 投票 0

kafka分区和kafka connect分区有什么区别?

我是Kafka Connect的新手,我不知道kafka分区和kafka connect分区之间的区别。它们是同一个概念吗?如果不是同一个概念,它们之间有什么关系...

回答 1 投票 0

Kafka - Elastic Sink - 小数/日期值的 AVRO 架构数据转换问题

我们看到一个问题,即弹性端上的小数和日期数据未正确填充...下面是整个上下文,任何人都可以输入,我们将不胜感激。谢谢 对于班级:“io.

回答 1 投票 0

运行Python代码的Kafka连接插件

我没有java语言经验,但我想使用Kafka Connect进行集成。我正在寻找使用 kafka connect 插件包装 python 代码并在 kafka connect 中使用它的解决方案

回答 1 投票 0

集群迁移时,迁移后的kafka消费者重新分区后表现如何?

我对消费者的行为有一些概念上的怀疑。 集群迁移提供了很好的机会,可以对当前集群中过度分区或分区不足的主题进行重新分区...

回答 1 投票 0

在融合的 kafka 连接容器中配置 debezium 基于内容的路由

我使用kafka connect将数据库从postgres db复制到mongo db。我按照文档配置基于内容的路由。当我调用 api 将源连接器注册到 kafka 连接时,它会抛出异常...

回答 1 投票 0

无法使用 JDBC kafka-sink-connector 将 kafka 主题数据写入 postgres 数据库

我有一个 kafka 主题,我们在其中生成 avro 记录,其模式如下所示。 { “类型”:“记录”, “名称”:“测试值”, “命名空间”:&

回答 2 投票 0

基于案例类和模式创建 Kafka Struct

我有很多案例类/模型,我需要为其自动创建 Kafka 结构。我有下面的代码可以手动实现此目的,但我必须对所有可以具有

回答 1 投票 0

设置Kafka的保留期限

我正在尝试将kafka主题的保留期设置为1000毫秒,以删除其上不需要的消息。 我用过 bin/kafka-configs.sh --zookeeper my-zookeeper:2181 --alter --实体类型主题 --

回答 1 投票 0

Kafka Connect 集群无限工作人员在启动时重新平衡

我已经成功部署了一个独立的 Connect Worker,现在我想将其扩展到部署在本地网络上三台不同机器上的三个工作线程,假设它们的主机名是

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.