apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

如何使用 Kafka HTTP Sink 连接器从特定偏移量消费消息

我正在使用 Kafka Confluence HTTP Sink Connector 来消费来自 Kafka 主题的消息,默认情况下它会从头开始读取所有消息。我有一个用例,我想停止连接器一段时间......

回答 1 投票 0

Kafka Connect:单个连接器或每表连接器方法

我有一个名为 test 的数据库,上面有多个 Kafka Debezium 连接器。 每个连接器与一个表相关联。 我的问题是关于内存使用情况,这是一个更好的方法......

回答 2 投票 0

Debezium 连接器如何处理错误?

我计划使用 MySQL Debezium 连接器,并对错误处理的配置有疑问。 Apache Kafka Connect 似乎有用于错误处理的errors.tolerance 属性。还有...

回答 1 投票 0

我可以使用单个 s3-sink 连接器通过对不同主题使用不同类型的 Avro 架构来为时间戳字段指向相同的字段名称吗?

主题 t1 的架构 { “类型”:“记录”, "name": "信封", “命名空间”:“t1”, “字段”:[ { “姓名”:&

回答 1 投票 0

如何从 Avro 记录中提取字段子集,然后使用另一个模式写入 S3?

我们有一个 S3 连接器,它从主题读取数据并将 Avro 记录按原样批处理在一起,然后将它们作为 .avro 文件写入 S3。 我的用例是我想要一个更智能的连接器......

回答 1 投票 0

消息在 Apache Kafka 中被截断

我是kafka的新手,我已经在本地安装了默认配置的kafka 10。现在,我面临一个问题。 我正在从控制台制作人生成消息。如果消息大约 4096 字节。然后就是消费了...

回答 4 投票 0

如何使用 .properties 文件将 Dockerfile 加载到 K8s (AKS) 中?

我有以下项目: https://github.com/abil/kafka-connect-abil 在本地运行 dockerfile 效果非常好。 我尝试了一些方法让它在 k8s 中工作...... 我试过Kom...

回答 2 投票 0

更改事件中心和使用者组后,事件中心源连接器抛出“无效偏移”错误

我的设置中有一个事件中心源连接器,它最初指向命名空间内的单个分区事件中心。最近,我们决定迁移到新的事件中心,增加了

回答 1 投票 0


使用自定义单消息转换器运行 debezum 源连接器

正在开发将 smt(单消息转换)附加到 debezium mysql 源连接器。我是参考文档实现了debezium smt,放了smt和mysql源码

回答 0 投票 0

使用 Debezium PostgresSQL 连接器时主题为空

目前,我在 Windows 上运行 Kafka 和 Debezium PostgreSQL Connector。 我遵循的步骤: 运行动物园管理员: .\kafka 在\windows\zookeeper-server-start.bat .\kafk

回答 0 投票 0

MQ 到 Kafka 源连接器过滤器

我正在尝试配置 Kafka 源连接器以从 IBMMQ 读取消息并将这些消息路由到 Kafka 主题。我收到两种类型的消息,这两种消息的值都是字符串....

回答 1 投票 0

Confluence S3 Sink 连接器:使用带有压缩功能的 Parquet 格式类时出错

我正在使用 s3 连接器从 kafka avro 主题(带有架构注册表)读取并以 parquet 格式推送到 s3。当没有压缩时它工作得很好。但是当我使用 gzip 压缩时,我得到以下结果...

回答 0 投票 0

Kafka+postgresdatabase+debezium 不会自动创建主题

我正在尝试使用 debezium 将 kafka 与 postgres 数据库连接起来,但主题不会自动创建,请记住我在日志中没有收到任何错误,我应该检查什么?

回答 0 投票 0

Kafka JDBC Source Connector 在哪里存储最后读取的 DB 行?

我试图在实现方面弄清楚 Kafka Connect JDBC 源连接器如何跟踪它读取和发布的最后一个数据库行。我找到了这个页面,它在第二段中有详细说明......

回答 1 投票 0

Kafka 连接源和目标之间的记录计数不匹配

我们正在使用 kafka connect JDBC 连接器使用 jdbcsource 连接器从 oracle DB 中的表中获取数据,并使用 jdbc sink 连接器通过主题将其上传到 postgres DB 中的目标表。

回答 1 投票 0

从kafka主题中插入消费数据到SQL数据库

我们正在开展一个项目,以使用来自 kafka 主题的数据并将其插入 SQL 数据库。 让我感到困惑的是 Apache Kafka 没有用于 SQL 数据库的连接器,而另一个选择...

回答 1 投票 0

Kafka connect oracle-cdc 为每个主题自动生成具有相同名称“ConnectDefault”的模式。可以按主题定制吗?

我正在使用 Kafka Connect 和 oracle cdc (https://docs.confluent.io/kafka-connectors/oracle-cdc/current/overview.html) 源连接器在一些数据库表上做 CDC。它根据...创建一个主题

回答 1 投票 0

confluent Bigquery connector v2.5不分配分区是什么原因?

我从合流的 Bigquery sink 连接器 v2.5 中得到以下错误: 警告 [debezium-connector-bigquery|task-0] WorkerSinkTask{id=debezium-connector-bigquery-0} 忽略无效任务 亲...

回答 0 投票 0

Kafka 连接转换“从转换中获取配置定义时出错”

我有一个添加了自定义转换器插件的 kafka 连接器,它符合以下条件: 从转换中获取配置定义时出错 这是我的连接器配置: api版本:kafka.strimzi.io/v1beta2

回答 0 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.