Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
如何使用 Kafka HTTP Sink 连接器从特定偏移量消费消息
我正在使用 Kafka Confluence HTTP Sink Connector 来消费来自 Kafka 主题的消息,默认情况下它会从头开始读取所有消息。我有一个用例,我想停止连接器一段时间......
我有一个名为 test 的数据库,上面有多个 Kafka Debezium 连接器。 每个连接器与一个表相关联。 我的问题是关于内存使用情况,这是一个更好的方法......
我计划使用 MySQL Debezium 连接器,并对错误处理的配置有疑问。 Apache Kafka Connect 似乎有用于错误处理的errors.tolerance 属性。还有...
我可以使用单个 s3-sink 连接器通过对不同主题使用不同类型的 Avro 架构来为时间戳字段指向相同的字段名称吗?
主题 t1 的架构 { “类型”:“记录”, "name": "信封", “命名空间”:“t1”, “字段”:[ { “姓名”:&
如何从 Avro 记录中提取字段子集,然后使用另一个模式写入 S3?
我们有一个 S3 连接器,它从主题读取数据并将 Avro 记录按原样批处理在一起,然后将它们作为 .avro 文件写入 S3。 我的用例是我想要一个更智能的连接器......
我是kafka的新手,我已经在本地安装了默认配置的kafka 10。现在,我面临一个问题。 我正在从控制台制作人生成消息。如果消息大约 4096 字节。然后就是消费了...
如何使用 .properties 文件将 Dockerfile 加载到 K8s (AKS) 中?
我有以下项目: https://github.com/abil/kafka-connect-abil 在本地运行 dockerfile 效果非常好。 我尝试了一些方法让它在 k8s 中工作...... 我试过Kom...
更改事件中心和使用者组后,事件中心源连接器抛出“无效偏移”错误
我的设置中有一个事件中心源连接器,它最初指向命名空间内的单个分区事件中心。最近,我们决定迁移到新的事件中心,增加了
正在开发将 smt(单消息转换)附加到 debezium mysql 源连接器。我是参考文档实现了debezium smt,放了smt和mysql源码
使用 Debezium PostgresSQL 连接器时主题为空
目前,我在 Windows 上运行 Kafka 和 Debezium PostgreSQL Connector。 我遵循的步骤: 运行动物园管理员: .\kafka 在\windows\zookeeper-server-start.bat .\kafk
我正在尝试配置 Kafka 源连接器以从 IBMMQ 读取消息并将这些消息路由到 Kafka 主题。我收到两种类型的消息,这两种消息的值都是字符串....
Confluence S3 Sink 连接器:使用带有压缩功能的 Parquet 格式类时出错
我正在使用 s3 连接器从 kafka avro 主题(带有架构注册表)读取并以 parquet 格式推送到 s3。当没有压缩时它工作得很好。但是当我使用 gzip 压缩时,我得到以下结果...
Kafka+postgresdatabase+debezium 不会自动创建主题
我正在尝试使用 debezium 将 kafka 与 postgres 数据库连接起来,但主题不会自动创建,请记住我在日志中没有收到任何错误,我应该检查什么?
Kafka JDBC Source Connector 在哪里存储最后读取的 DB 行?
我试图在实现方面弄清楚 Kafka Connect JDBC 源连接器如何跟踪它读取和发布的最后一个数据库行。我找到了这个页面,它在第二段中有详细说明......
我们正在使用 kafka connect JDBC 连接器使用 jdbcsource 连接器从 oracle DB 中的表中获取数据,并使用 jdbc sink 连接器通过主题将其上传到 postgres DB 中的目标表。
我们正在开展一个项目,以使用来自 kafka 主题的数据并将其插入 SQL 数据库。 让我感到困惑的是 Apache Kafka 没有用于 SQL 数据库的连接器,而另一个选择...
Kafka connect oracle-cdc 为每个主题自动生成具有相同名称“ConnectDefault”的模式。可以按主题定制吗?
我正在使用 Kafka Connect 和 oracle cdc (https://docs.confluent.io/kafka-connectors/oracle-cdc/current/overview.html) 源连接器在一些数据库表上做 CDC。它根据...创建一个主题
confluent Bigquery connector v2.5不分配分区是什么原因?
我从合流的 Bigquery sink 连接器 v2.5 中得到以下错误: 警告 [debezium-connector-bigquery|task-0] WorkerSinkTask{id=debezium-connector-bigquery-0} 忽略无效任务 亲...
我有一个添加了自定义转换器插件的 kafka 连接器,它符合以下条件: 从转换中获取配置定义时出错 这是我的连接器配置: api版本:kafka.strimzi.io/v1beta2