apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

如何在 Debezium 连接器中接收墓碑消息?

我正在使用 Kafka 和 Debezium Postgres 连接器。 我只想提取记录值而不提取其他详细信息,因此我使用“transforms.unwrap.type”:“io.debezium.transforms。

回答 1 投票 0

创建 Kafka 连接器但以暂停状态启动

我正在寻找创建卡夫卡连接器的方法,但我需要它已经在暂停状态下创建。 我已经知道如何创建它,但总是在运行状态下创建。

回答 2 投票 0

如何配置 Apache Kafka File Sink Connector 将 JSON 数据写入以管道分隔的字符串并每小时轮换文件?

我正在使用 Apache Kafka,需要配置文件接收器连接器以实现以下目标: 将 JSON 数据转换为管道分隔的字符串:Kafka 主题包含 JSON 格式的消息,...

回答 1 投票 0

Kafka Connect docker 映像无法识别 AWS 环境变量凭证?

我目前正在通过尝试在 Docker 中设置一些基本管道来自学 Kafka Connect。主要问题是,当我尝试使用连接 REST API 来启动新的 con 时......

回答 1 投票 0

Apache Camel salesforce 连接器配置调试

我正在尝试部署camel-salesforce-source 连接器。 我已经从maven下载了camel-salesforce-source-kafka-connector-4.4.2-package.tar.gz tar文件,将其提取到目录并添加...

回答 1 投票 0

Kafka Connect Cluster在生产中如何运行(数量、分布等)

嗨,我有 4 个 DB,我需要使用 Debezium Connector 连接所有这些 DB。我将把它们放在 AWS EKS 上,并且我还将拥有 S3 接收器连接器,我预计数量将超过 10 个...

回答 1 投票 0

我们可以使用 Kafka Mirror 在两个不同的 Kafka 版本之间从本地到云端执行实时迁移吗?

我们有一个活跃地执行kafka迁移的用例,根据我们的理解,最好使用Kafka镜像在同一个Kafka版本之间进行同步,然后进行升级 有没有人表演过...

回答 1 投票 0

将数据复制到另一个 Kafka 实例的最小 MirrorSourceConnector 配置

我正在尝试使用 Mirror Maker 将主题从一个 Kafka 集群复制到另一个集群。 我正在使用 docker compose 创建以下资源: 网络: 本地卡夫卡: 名称:local_kafka 瑟...

回答 1 投票 0

Confluence Kafka:从主题(单个负载)到多个表的数据

confluence kafka jdbc 连接器(接收器)是否允许您从主题中提取数据,然后定义 Oracle 数据库上的哪些表将该数据分发到? IE。 单个主题记录将有...

回答 1 投票 0

数据从Topic到Oracle表

confluence kafka jdbc 连接器(接收器)是否允许您从主题中提取数据,然后定义 Oracle 数据库上的哪些表将该数据分发到? IE。 单个主题记录将有...

回答 1 投票 0

访问Confluence云中的kafka集群主题

我正在尝试将iceberg-kafka-connect 连接器连接到我的融合云中存在的kafka 主题。我正在使用 MSK connect 来运行此连接器。 (我能够访问汇合的卡夫卡主题......

回答 1 投票 0

Kafka 连接接收器配置问题 - “忽略提供偏移量的无效任务 - 未分配分区”

我们正在尝试在带有 kubernetes 的 GCP 上运行 kafka 连接工作线程,在 Postgresql 上配置一个源连接器,一个同步到 BigQuery 的接收器连接器,并托管 Confluence kafka。卡夫卡顶...

回答 2 投票 0

Debezium 连接重试(kafka 降级连接)

我的某些 Debezium 连接偶尔会遇到一些问题。 有时,我公司另一个团队的人员需要对源数据库进行某种维护,我有一个 Debezium

回答 1 投票 0

Kafka Connect JDBC 接收器日期/时间转换为带有时区的 PostgreSQL 时间戳

我们有一个 Kafka 主题,其中包含 JSON 架构格式的云事件,我们使用 JDBC 接收器将其连接到 Timescaledb/PostgreSQL。 要将表转换为超表,我们需要一个时间列,但是我们的日期时间

回答 1 投票 0

将 debezium CDC 事件从 Kafka Connect 写入 Iceberg

我们希望将 Debezium CDC 事件提取到 Azure Blob 上的 Iceberg 表中。我们的目标是使用 Kafka Connect Iceberg Sink Connector 和 Iceberg 的雪花目录来实现这一目标。 表面上的问题...

回答 1 投票 0

为什么 Debezium 在消息开头添加空字节 (\u0000) ?

正如问题中为什么debezium在输出消息的开头添加空字节(\u0000)一样。 如何从消息开头删除空字节 (\u0000)?

回答 1 投票 0

openshift Debezium oracle 连接器上的 IBM EVENTSTREAM Kafka Connector 遇到错误

创建连接器 org.apache.kafka.commonerrors.TimeoutException 时,我在 openshift Yaml 中收到错误:获取主题元数据时超时已过期。 卡夫卡 - IBM EVENTSTREAM 已部署 -

回答 1 投票 0

Debezium/Kafka 连接可以忽略或调整太大的消息吗?

我们通过 AWS MSK 无服务器和 MSK Connect 使用 Debezium 来监控 RDS Aurora MySQL 的 binlog。 对于我们 99% 的数据,这一切都工作正常,但 Debezium 偶尔会失败: [工人-

回答 1 投票 0

Strimzi Kafka Connect 集群 - 资源规划

我正在规划专门用于在 Strimzi Distribution 中运行 Kafka Connect 集群的资源。 我的工作负载非常小,每个连接器可能只需要 1 个任务。 我会去

回答 1 投票 0

获取超时 Kafka 异常 org.apache.kafka.common.errors.TimeoutException: Call(callName=deleteRecords(api=METADATA)

我面临kafka超时异常。错误是: 分区:B3-0错误:org.apache.kafka.common.errors.TimeoutException:Call(callName=deleteRecords(api=METADATA),deadlineMs=1721138713548,tries=721...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.