Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
RabbitMQ 源连接器配置问题 - SSL 的 java.io.IOException 错误
我的 RabbitMQ 源连接器配置遇到问题。当我尝试设置连接器时,我收到 400 Bad Request 错误,并在连接期间出现多个 java.io.IOException 错误
CDC Oracle 使用中 Kafka 和 Debezium 的最佳实践
我们正在努力寻找一些有关使用 Kafka/Connect for CDC 的“最佳实践”。我们正在努力实现什么目标; 通过 Kafka Connect 从 Oracle 提取在线重做日志。 我们...
我有一个 Kafka Streams 应用程序,它从 Kafka 主题获取输入,在 5 分钟窗口内将其聚合到原始值的三个字段上。 在输出方面,我需要翻译 aggre...
通过 kafka-console- Producer 发送带有 schema 消息的 json 的正确方法
我想测试我使用 docker-compose 在本地设置的 kafka/connect/schema 注册表配置。最初 - 我使用 s3 接收器插件设置了一个连接实例,该插件写入传入的 json 混乱...
Kafka connect 仅从 7 个表的列表中创建三个主题
我有kafka connect的这个配置 名称=jdbc-source-connector-oracle-1 Connector.class=io.confluence.connect.jdbc.JdbcSourceConnector 任务.max=3 connection.url=jdbc:oracle:thin:@o22.opsdb-...
Kafka Streams 从 JSONObject 创建空模式
我正在编写一个 Kafka Streams 应用程序,该应用程序将从非关系自定义 Kafka 源连接器接收的数据进行转换,并将其拆分为多个主题以对其进行规范化(以便可以使用...
使用 Strimzi 与 KafkaConnect 中的 Azure 事件中心关联的架构注册表问题
我正在尝试以 Avro 格式序列化发送到 Azure 事件中心的有效负载值。我正在使用 Strimzi 将 KafkaConnect 部署到 Kubernetes,并使用 Event Hub 作为代理来代替本机 Ka...
我有一个使用 Apache Kafka 版本 3.7.x 的 MSK 集群 我正在尝试创建 MSK Sink Connector,MSK Connect 中的连接器仅支持 Apache Kafka Connect 版本 2.7.1 我正在使用自托管...
转换器插件无法识别 Avro 序列化的类,使用 Strimzi 部署 KafkaConnect 容器
背景: 我想使用 Strimzi 实现有效负载值的 Avro 序列化。尽管将所需的插件加载到 Strimzi KafkaConnect YAML,我还是遇到了找不到类的错误
我在美国有一个 kafka 集群,我想将一个主题复制到欧盟集群上。这两个集群共享相同的架构注册表。我对表格进行快照,并且可以在...
使用 Table API 和 DataStream API 进行数据丰富的复杂 Flink 作业
我构建了一个复杂的 Flink 作业来丰富数据。该作业通过 Kafka 使用来自外部系统的消息,目标是使用 PostgreSQL 中存储的参考数据来丰富这些消息
我在同一张桌子上针对不同的事件有不同的kafka主题。例如插入新记录时执行某些操作,删除记录时执行其他操作 我尝试使用多个
如何在 Confluence 平台上运行 Debezium?
我有一台带有 mysql DB(未容器化)的 EC2 机器。现在我想将 CDC 事件流式传输到 Confluence 管理的 Kafka。我正在使用这个 docker compose 文件在同一个主机上启动连接平台...
我有一台带有 mysql DB(未容器化)的 EC2 机器。现在我想将 CDC 事件流式传输到 Confluence 管理的 Kafka。我正在使用这个 docker compose 文件在同一个主机上启动连接平台...
Kafka MirrorMaker2 无法使用 TLS 连接到 kafka 节点
我有两个运行 kafka 集群的 k8s 设置。在我的原始设置中,不需要 TLS 或身份验证。我的目标设置同时具有 SCRAM-SHA-512 和 TLS 设置。 我的配置
kafka mysql 源连接错误Kafka Connect JDBC 源连接器无法启动:由于 ClassLoader 问题导致 IllegalAccessError
由 ChatGPT 翻译 我在尝试运行 Kafka Connect JDBC Source Connector 任务(connect-standalone)时遇到错误。当 Kafka Conn...
我有格式良好的 JSON 数据,该数据保存在 Oracle 11g 表的 CLOB 字段中。 创建表 INTERFACE_KAFKA_QUEUE ( AUDIT_NUMBER 号, 消息块, DATE_INSERTED ...
Kafka JDBC 连接器 - 在 CLOB 字段中提取 JSON 并将其持久化到 Kafka 主题
我有格式良好的 JSON 数据,该数据保存在 Oracle 11g 表的 CLOB 字段中。 创建表 INTERFACE_KAFKA_QUEUE ( AUDIT_NUMBER 号, 消息块, DATE_INSERTED ...
Neo4j 似乎围绕 cypher 命令包装了 CALL 查询
我第一次在独立机器上使用 Kafka Connect,本地托管的 kafka 代理和 Neo4j 数据库在同一台机器上运行。我正在尝试使用自定义 cypher q 将数据提取到 neo4j 中...
Kafka-Connect - Neo4j 似乎围绕我给出的 cypher 命令包装了一个 CALL 查询
我第一次在独立机器上使用 Kafka Connect,本地托管的 kafka 代理和 Neo4j 数据库运行在同一台机器上。我正在尝试使用自定义 cypher q 将数据提取到 neo4j 中...