apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

RabbitMQ 源连接器配置问题 - SSL 的 java.io.IOException 错误

我的 RabbitMQ 源连接器配置遇到问题。当我尝试设置连接器时,我收到 400 Bad Request 错误,并在连接期间出现多个 java.io.IOException 错误

回答 1 投票 0

CDC Oracle 使用中 Kafka 和 Debezium 的最佳实践

我们正在努力寻找一些有关使用 Kafka/Connect for CDC 的“最佳实践”。我们正在努力实现什么目标; 通过 Kafka Connect 从 Oracle 提取在线重做日志。 我们...

回答 1 投票 0

查看在流应用程序的输出中创建的重复记录

我有一个 Kafka Streams 应用程序,它从 Kafka 主题获取输入,在 5 分钟窗口内将其聚合到原始值的三个字段上。 在输出方面,我需要翻译 aggre...

回答 1 投票 0

通过 kafka-console- Producer 发送带有 schema 消息的 json 的正确方法

我想测试我使用 docker-compose 在本地设置的 kafka/connect/schema 注册表配置。最初 - 我使用 s3 接收器插件设置了一个连接实例,该插件写入传入的 json 混乱...

回答 1 投票 0

Kafka connect 仅从 7 个表的列表中创建三个主题

我有kafka connect的这个配置 名称=jdbc-source-connector-oracle-1 Connector.class=io.confluence.connect.jdbc.JdbcSourceConnector 任务.max=3 connection.url=jdbc:oracle:thin:@o22.opsdb-...

回答 1 投票 0

Kafka Streams 从 JSONObject 创建空模式

我正在编写一个 Kafka Streams 应用程序,该应用程序将从非关系自定义 Kafka 源连接器接收的数据进行转换,并将其拆分为多个主题以对其进行规范化(以便可以使用...

回答 1 投票 0

使用 Strimzi 与 KafkaConnect 中的 Azure 事件中心关联的架构注册表问题

我正在尝试以 Avro 格式序列化发送到 Azure 事件中心的有效负载值。我正在使用 Strimzi 将 KafkaConnect 部署到 Kubernetes,并使用 Event Hub 作为代理来代替本机 Ka...

回答 1 投票 0

在 MSK Connect 中创建接收器连接器时出错:java.lang.NoSuchMethodError: 'boolean org.apache.kafka.common.utils.Utils.isBlank(java.lang.String)

我有一个使用 Apache Kafka 版本 3.7.x 的 MSK 集群 我正在尝试创建 MSK Sink Connector,MSK Connect 中的连接器仅支持 Apache Kafka Connect 版本 2.7.1 我正在使用自托管...

回答 1 投票 0

转换器插件无法识别 Avro 序列化的类,使用 Strimzi 部署 KafkaConnect 容器

背景: 我想使用 Strimzi 实现有效负载值的 Avro 序列化。尽管将所需的插件加载到 Strimzi KafkaConnect YAML,我还是遇到了找不到类的错误

回答 1 投票 0

Kafka镜像制作者2将主题复制为avro而不是字节

我在美国有一个 kafka 集群,我想将一个主题复制到欧盟集群上。这两个集群共享相同的架构注册表。我对表格进行快照,并且可以在...

回答 1 投票 0

使用 Table API 和 DataStream API 进行数据丰富的复杂 Flink 作业

我构建了一个复杂的 Flink 作业来丰富数据。该作业通过 Kafka 使用来自外部系统的消息,目标是使用 PostgreSQL 中存储的参考数据来丰富这些消息

回答 1 投票 0

Debezium 可以将记录从一个表重新路由到多个主题吗?

我在同一张桌子上针对不同的事件有不同的kafka主题。例如插入新记录时执行某些操作,删除记录时执行其他操作 我尝试使用多个

回答 1 投票 0

如何在 Confluence 平台上运行 Debezium?

我有一台带有 mysql DB(未容器化)的 EC2 机器。现在我想将 CDC 事件流式传输到 Confluence 管理的 Kafka。我正在使用这个 docker compose 文件在同一个主机上启动连接平台...

回答 1 投票 0

如何使用 connect 平台运行 Debezium?

我有一台带有 mysql DB(未容器化)的 EC2 机器。现在我想将 CDC 事件流式传输到 Confluence 管理的 Kafka。我正在使用这个 docker compose 文件在同一个主机上启动连接平台...

回答 1 投票 0

Kafka MirrorMaker2 无法使用 TLS 连接到 kafka 节点

我有两个运行 kafka 集群的 k8s 设置。在我的原始设置中,不需要 TLS 或身份验证。我的目标设置同时具有 SCRAM-SHA-512 和 TLS 设置。 我的配置

回答 1 投票 0

kafka mysql 源连接错误Kafka Connect JDBC 源连接器无法启动:由于 ClassLoader 问题导致 IllegalAccessError

由 ChatGPT 翻译 我在尝试运行 Kafka Connect JDBC Source Connector 任务(connect-standalone)时遇到错误。当 Kafka Conn...

回答 1 投票 0

在 CLOB 字段中拉取 JSON

我有格式良好的 JSON 数据,该数据保存在 Oracle 11g 表的 CLOB 字段中。 创建表 INTERFACE_KAFKA_QUEUE ( AUDIT_NUMBER 号, 消息块, DATE_INSERTED ...

回答 1 投票 0

Kafka JDBC 连接器 - 在 CLOB 字段中提取 JSON 并将其持久化到 Kafka 主题

我有格式良好的 JSON 数据,该数据保存在 Oracle 11g 表的 CLOB 字段中。 创建表 INTERFACE_KAFKA_QUEUE ( AUDIT_NUMBER 号, 消息块, DATE_INSERTED ...

回答 1 投票 0

Neo4j 似乎围绕 cypher 命令包装了 CALL 查询

我第一次在独立机器上使用 Kafka Connect,本地托管的 kafka 代理和 Neo4j 数据库在同一台机器上运行。我正在尝试使用自定义 cypher q 将数据提取到 neo4j 中...

回答 1 投票 0

Kafka-Connect - Neo4j 似乎围绕我给出的 cypher 命令包装了一个 CALL 查询

我第一次在独立机器上使用 Kafka Connect,本地托管的 kafka 代理和 Neo4j 数据库运行在同一台机器上。我正在尝试使用自定义 cypher q 将数据提取到 neo4j 中...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.