Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
Kafka Connect JDBC 接收器日期/时间转换为带有时区的 PostgreSQL 时间戳
我们有一个 Kafka 主题,其中包含 JSON 架构格式的云事件,我们使用 JDBC 接收器将其连接到 Timescaledb/PostgreSQL。 要将表转换为超表,我们需要一个时间列,但是我们的日期时间
将 debezium CDC 事件从 Kafka Connect 写入 Iceberg
我们希望将 Debezium CDC 事件提取到 Azure Blob 上的 Iceberg 表中。我们的目标是使用 Kafka Connect Iceberg Sink Connector 和 Iceberg 的雪花目录来实现这一目标。 表面上的问题...
为什么 Debezium 在消息开头添加空字节 (\u0000) ?
正如问题中为什么debezium在输出消息的开头添加空字节(\u0000)一样。 如何从消息开头删除空字节 (\u0000)?
openshift Debezium oracle 连接器上的 IBM EVENTSTREAM Kafka Connector 遇到错误
创建连接器 org.apache.kafka.commonerrors.TimeoutException 时,我在 openshift Yaml 中收到错误:获取主题元数据时超时已过期。 卡夫卡 - IBM EVENTSTREAM 已部署 -
Debezium/Kafka 连接可以忽略或调整太大的消息吗?
我们通过 AWS MSK 无服务器和 MSK Connect 使用 Debezium 来监控 RDS Aurora MySQL 的 binlog。 对于我们 99% 的数据,这一切都工作正常,但 Debezium 偶尔会失败: [工人-
Strimzi Kafka Connect 集群 - 资源规划
我正在规划专门用于在 Strimzi Distribution 中运行 Kafka Connect 集群的资源。 我的工作负载非常小,每个连接器可能只需要 1 个任务。 我会去
我面临kafka超时异常。错误是: 分区:B3-0错误:org.apache.kafka.common.errors.TimeoutException:Call(callName=deleteRecords(api=METADATA),deadlineMs=1721138713548,tries=721...
我将 Kafka 与 Strimzi 运算符一起使用,我想知道是否应该创建最佳数量的 kafka 连接集群。我有一个中型基础设施,包含大约 50 个不同的业务日志......
MSK 连接器无法使用 KRaft 模式在 MSK 集群中找到类
我有一个使用 ZooKeeper 模式的 Kafka 3.7.x 集群,效果很好。现在我正在 KRaft 模式下尝试新的 Kafak: 但是,对于这个 KRaft 模式的 Kafka 集群,相同的连接器无法启动。 她...
KSQLDB 的 SQL 连接器,如何在 docker.yml 中实现?
我发现自己正在努力获取有关如何将 SQL Server DB 放入 KSQLDB 的文档更新? 我想知道连接 Azure SQL Server 和 K 的最简单方法是什么...
我正在使用一个 Spring Boot Java 项目,其中我提到了一个消费者组,并且刚刚创建了一个消费者实例。这意味着如果我从这个消费者那里轮询数据,它应该默认重新...
如何使用 docker compose 在合流连接中添加多个连接器?
我正在尝试通过以下 docker-compose 在我的合流连接中添加 mongoDB 连接器和 mqtt 连接器: --- 版本:'2' 服务: 动物园管理员: 图片:confluenceinc/cp-zookeepe...
ksql 看不到先前安装的 datagen 连接器并且位于组件目录中
我正在浏览 Confluence 的使用 ksqlDB 的 Clickstream 数据分析管道教程。在我的 Mac 和基于 Ubuntu 的 VPS 上尝试过此操作 当我跑步时 运行脚本'/scripts/create-connectors.sql';
Ansible EDA Kafka 连接错误 - 尝试在规则手册中创建与 kafka 的连接,但规则手册激活失败
我一直在尝试在规则手册中创建与 kafka 的连接,但是当我运行规则手册激活时,我遇到此错误: ansible_rulebook.rule_set_runner - 信息 - 规则集:监听 eve...
为什么 Debezium Connector 无法连接到 SASL 激活的代理?
我正在尝试为我的 Kafka 系统启用 SASL/PLAIN。它实际上有效,我已经针对架构注册表和 Java 生产者测试了它。问题是 Kafka Connect 在 SASL 时无法建立连接...
DataStax Cassandra Sink Connector - 根据条件从 Kafka 主题提取数据
我正在尝试将数据从 Kafka 主题实时提取到 Cassandra 表。为此,我使用 DataStax Cassandra Sink 连接器。主题中事件的格式将为 JSON。我可以
我正在尝试创建一个使用protobuf值转换器的kafka接收器连接器。我有一个使用 JSON 的配置版本,但是我现在需要将其更改为使用 protobuf 消息...
MSK 连接器使用 Kafka SSL 或 SASL 身份验证与第三方托管集群握手
我创建了一个 kinesis 源连接器,它应该从 kinesis 流中提取数据并将相同的数据推送到 kafka 主题。 这里的用例是将连接器部署在 Amazon MSK 上
Caddy TLS 在 Kafka Connect UI 中不起作用
我使用此文档在 Kafka Connect UI 中配置 TLS/SSL: https://hub.docker.com/r/landoop/kafka-connect-ui/ 但没有写任何有关 TLS/SSL 的内容。后来我找到了凯迪
美好的一天, 基于https://docs.confluence.io/kafka-connect-jdbc/current/index.html#installing-jdbc-drivers, 我使用以下命令来安装 jdbc 连接器: confluence-hub 安装 confluen...