apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

Kafka Connect JDBC 接收器日期/时间转换为带有时区的 PostgreSQL 时间戳

我们有一个 Kafka 主题,其中包含 JSON 架构格式的云事件,我们使用 JDBC 接收器将其连接到 Timescaledb/PostgreSQL。 要将表转换为超表,我们需要一个时间列,但是我们的日期时间

回答 1 投票 0

将 debezium CDC 事件从 Kafka Connect 写入 Iceberg

我们希望将 Debezium CDC 事件提取到 Azure Blob 上的 Iceberg 表中。我们的目标是使用 Kafka Connect Iceberg Sink Connector 和 Iceberg 的雪花目录来实现这一目标。 表面上的问题...

回答 1 投票 0

为什么 Debezium 在消息开头添加空字节 (\u0000) ?

正如问题中为什么debezium在输出消息的开头添加空字节(\u0000)一样。 如何从消息开头删除空字节 (\u0000)?

回答 1 投票 0

openshift Debezium oracle 连接器上的 IBM EVENTSTREAM Kafka Connector 遇到错误

创建连接器 org.apache.kafka.commonerrors.TimeoutException 时,我在 openshift Yaml 中收到错误:获取主题元数据时超时已过期。 卡夫卡 - IBM EVENTSTREAM 已部署 -

回答 1 投票 0

Debezium/Kafka 连接可以忽略或调整太大的消息吗?

我们通过 AWS MSK 无服务器和 MSK Connect 使用 Debezium 来监控 RDS Aurora MySQL 的 binlog。 对于我们 99% 的数据,这一切都工作正常,但 Debezium 偶尔会失败: [工人-

回答 1 投票 0

Strimzi Kafka Connect 集群 - 资源规划

我正在规划专门用于在 Strimzi Distribution 中运行 Kafka Connect 集群的资源。 我的工作负载非常小,每个连接器可能只需要 1 个任务。 我会去

回答 1 投票 0

获取超时 Kafka 异常 org.apache.kafka.common.errors.TimeoutException: Call(callName=deleteRecords(api=METADATA)

我面临kafka超时异常。错误是: 分区:B3-0错误:org.apache.kafka.common.errors.TimeoutException:Call(callName=deleteRecords(api=METADATA),deadlineMs=1721138713548,tries=721...

回答 1 投票 0

多少个kafka连接集群是最佳的?

我将 Kafka 与 Strimzi 运算符一起使用,我想知道是否应该创建最佳数量的 kafka 连接集群。我有一个中型基础设施,包含大约 50 个不同的业务日志......

回答 1 投票 0

MSK 连接器无法使用 KRaft 模式在 MSK 集群中找到类

我有一个使用 ZooKeeper 模式的 Kafka 3.7.x 集群,效果很好。现在我正在 KRaft 模式下尝试新的 Kafak: 但是,对于这个 KRaft 模式的 Kafka 集群,相同的连接器无法启动。 她...

回答 1 投票 0

KSQLDB 的 SQL 连接器,如何在 docker.yml 中实现?

我发现自己正在努力获取有关如何将 SQL Server DB 放入 KSQLDB 的文档更新? 我想知道连接 Azure SQL Server 和 K 的最简单方法是什么...

回答 1 投票 0

无法读取某个主题所有分区的所有 Kafka 消息

我正在使用一个 Spring Boot Java 项目,其中我提到了一个消费者组,并且刚刚创建了一个消费者实例。这意味着如果我从这个消费者那里轮询数据,它应该默认重新...

回答 1 投票 0

如何使用 docker compose 在合流连接中添加多个连接器?

我正在尝试通过以下 docker-compose 在我的合流连接中添加 mongoDB 连接器和 mqtt 连接器: --- 版本:'2' 服务: 动物园管理员: 图片:confluenceinc/cp-zookeepe...

回答 1 投票 0

ksql 看不到先前安装的 datagen 连接器并且位于组件目录中

我正在浏览 Confluence 的使用 ksqlDB 的 Clickstream 数据分析管道教程。在我的 Mac 和基于 Ubuntu 的 VPS 上尝试过此操作 当我跑步时 运行脚本'/scripts/create-connectors.sql';

回答 1 投票 0

Ansible EDA Kafka 连接错误 - 尝试在规则手册中创建与 kafka 的连接,但规则手册激活失败

我一直在尝试在规则手册中创建与 kafka 的连接,但是当我运行规则手册激活时,我遇到此错误: ansible_rulebook.rule_set_runner - 信息 - 规则集:监听 eve...

回答 1 投票 0

为什么 Debezium Connector 无法连接到 SASL 激活的代理?

我正在尝试为我的 Kafka 系统启用 SASL/PLAIN。它实际上有效,我已经针对架构注册表和 Java 生产者测试了它。问题是 Kafka Connect 在 SASL 时无法建立连接...

回答 1 投票 0

DataStax Cassandra Sink Connector - 根据条件从 Kafka 主题提取数据

我正在尝试将数据从 Kafka 主题实时提取到 Cassandra 表。为此,我使用 DataStax Cassandra Sink 连接器。主题中事件的格式将为 JSON。我可以

回答 2 投票 0

Kafka Connect Protobuf 配置

我正在尝试创建一个使用protobuf值转换器的kafka接收器连接器。我有一个使用 JSON 的配置版本,但是我现在需要将其更改为使用 protobuf 消息...

回答 3 投票 0

MSK 连接器使用 Kafka SSL 或 SASL 身份验证与第三方托管集群握手

我创建了一个 kinesis 源连接器,它应该从 kinesis 流中提取数据并将相同的数据推送到 kafka 主题。 这里的用例是将连接器部署在 Amazon MSK 上

回答 1 投票 0

Caddy TLS 在 Kafka Connect UI 中不起作用

我使用此文档在 Kafka Connect UI 中配置 TLS/SSL: https://hub.docker.com/r/landoop/kafka-connect-ui/ 但没有写任何有关 TLS/SSL 的内容。后来我找到了凯迪

回答 1 投票 0

连接器列表不显示我安装的连接器

美好的一天, 基于https://docs.confluence.io/kafka-connect-jdbc/current/index.html#installing-jdbc-drivers, 我使用以下命令来安装 jdbc 连接器: confluence-hub 安装 confluen...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.