Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
我正在使用 Kafka 和 Debezium Postgres 连接器。 我只想提取记录值而不提取其他详细信息,因此我使用“transforms.unwrap.type”:“io.debezium.transforms。
我正在寻找创建卡夫卡连接器的方法,但我需要它已经在暂停状态下创建。 我已经知道如何创建它,但总是在运行状态下创建。
如何配置 Apache Kafka File Sink Connector 将 JSON 数据写入以管道分隔的字符串并每小时轮换文件?
我正在使用 Apache Kafka,需要配置文件接收器连接器以实现以下目标: 将 JSON 数据转换为管道分隔的字符串:Kafka 主题包含 JSON 格式的消息,...
Kafka Connect docker 映像无法识别 AWS 环境变量凭证?
我目前正在通过尝试在 Docker 中设置一些基本管道来自学 Kafka Connect。主要问题是,当我尝试使用连接 REST API 来启动新的 con 时......
Apache Camel salesforce 连接器配置调试
我正在尝试部署camel-salesforce-source 连接器。 我已经从maven下载了camel-salesforce-source-kafka-connector-4.4.2-package.tar.gz tar文件,将其提取到目录并添加...
Kafka Connect Cluster在生产中如何运行(数量、分布等)
嗨,我有 4 个 DB,我需要使用 Debezium Connector 连接所有这些 DB。我将把它们放在 AWS EKS 上,并且我还将拥有 S3 接收器连接器,我预计数量将超过 10 个...
我们可以使用 Kafka Mirror 在两个不同的 Kafka 版本之间从本地到云端执行实时迁移吗?
我们有一个活跃地执行kafka迁移的用例,根据我们的理解,最好使用Kafka镜像在同一个Kafka版本之间进行同步,然后进行升级 有没有人表演过...
将数据复制到另一个 Kafka 实例的最小 MirrorSourceConnector 配置
我正在尝试使用 Mirror Maker 将主题从一个 Kafka 集群复制到另一个集群。 我正在使用 docker compose 创建以下资源: 网络: 本地卡夫卡: 名称:local_kafka 瑟...
Confluence Kafka:从主题(单个负载)到多个表的数据
confluence kafka jdbc 连接器(接收器)是否允许您从主题中提取数据,然后定义 Oracle 数据库上的哪些表将该数据分发到? IE。 单个主题记录将有...
confluence kafka jdbc 连接器(接收器)是否允许您从主题中提取数据,然后定义 Oracle 数据库上的哪些表将该数据分发到? IE。 单个主题记录将有...
我正在尝试将iceberg-kafka-connect 连接器连接到我的融合云中存在的kafka 主题。我正在使用 MSK connect 来运行此连接器。 (我能够访问汇合的卡夫卡主题......
Kafka 连接接收器配置问题 - “忽略提供偏移量的无效任务 - 未分配分区”
我们正在尝试在带有 kubernetes 的 GCP 上运行 kafka 连接工作线程,在 Postgresql 上配置一个源连接器,一个同步到 BigQuery 的接收器连接器,并托管 Confluence kafka。卡夫卡顶...
我的某些 Debezium 连接偶尔会遇到一些问题。 有时,我公司另一个团队的人员需要对源数据库进行某种维护,我有一个 Debezium
Kafka Connect JDBC 接收器日期/时间转换为带有时区的 PostgreSQL 时间戳
我们有一个 Kafka 主题,其中包含 JSON 架构格式的云事件,我们使用 JDBC 接收器将其连接到 Timescaledb/PostgreSQL。 要将表转换为超表,我们需要一个时间列,但是我们的日期时间
将 debezium CDC 事件从 Kafka Connect 写入 Iceberg
我们希望将 Debezium CDC 事件提取到 Azure Blob 上的 Iceberg 表中。我们的目标是使用 Kafka Connect Iceberg Sink Connector 和 Iceberg 的雪花目录来实现这一目标。 表面上的问题...
为什么 Debezium 在消息开头添加空字节 (\u0000) ?
正如问题中为什么debezium在输出消息的开头添加空字节(\u0000)一样。 如何从消息开头删除空字节 (\u0000)?
openshift Debezium oracle 连接器上的 IBM EVENTSTREAM Kafka Connector 遇到错误
创建连接器 org.apache.kafka.commonerrors.TimeoutException 时,我在 openshift Yaml 中收到错误:获取主题元数据时超时已过期。 卡夫卡 - IBM EVENTSTREAM 已部署 -
Debezium/Kafka 连接可以忽略或调整太大的消息吗?
我们通过 AWS MSK 无服务器和 MSK Connect 使用 Debezium 来监控 RDS Aurora MySQL 的 binlog。 对于我们 99% 的数据,这一切都工作正常,但 Debezium 偶尔会失败: [工人-
Strimzi Kafka Connect 集群 - 资源规划
我正在规划专门用于在 Strimzi Distribution 中运行 Kafka Connect 集群的资源。 我的工作负载非常小,每个连接器可能只需要 1 个任务。 我会去
我面临kafka超时异常。错误是: 分区:B3-0错误:org.apache.kafka.common.errors.TimeoutException:Call(callName=deleteRecords(api=METADATA),deadlineMs=1721138713548,tries=721...