apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

如何使用 connect 平台运行 Debezium?

我有一台带有 mysql DB(未容器化)的 EC2 机器。现在我想将 CDC 事件流式传输到 Confluence 管理的 Kafka。我正在使用这个 docker compose 文件在同一个主机上启动连接平台...

回答 1 投票 0

Kafka MirrorMaker2 无法使用 TLS 连接到 kafka 节点

我有两个运行 kafka 集群的 k8s 设置。在我的原始设置中,不需要 TLS 或身份验证。我的目标设置同时具有 SCRAM-SHA-512 和 TLS 设置。 我的配置

回答 1 投票 0

kafka mysql 源连接错误Kafka Connect JDBC 源连接器无法启动:由于 ClassLoader 问题导致 IllegalAccessError

由 ChatGPT 翻译 我在尝试运行 Kafka Connect JDBC Source Connector 任务(connect-standalone)时遇到错误。当 Kafka Conn...

回答 1 投票 0

在 CLOB 字段中拉取 JSON

我有格式良好的 JSON 数据,该数据保存在 Oracle 11g 表的 CLOB 字段中。 创建表 INTERFACE_KAFKA_QUEUE ( AUDIT_NUMBER 号, 消息块, DATE_INSERTED ...

回答 1 投票 0

Kafka JDBC 连接器 - 在 CLOB 字段中提取 JSON 并将其持久化到 Kafka 主题

我有格式良好的 JSON 数据,该数据保存在 Oracle 11g 表的 CLOB 字段中。 创建表 INTERFACE_KAFKA_QUEUE ( AUDIT_NUMBER 号, 消息块, DATE_INSERTED ...

回答 1 投票 0

Neo4j 似乎围绕 cypher 命令包装了 CALL 查询

我第一次在独立机器上使用 Kafka Connect,本地托管的 kafka 代理和 Neo4j 数据库在同一台机器上运行。我正在尝试使用自定义 cypher q 将数据提取到 neo4j 中...

回答 1 投票 0

Kafka-Connect - Neo4j 似乎围绕我给出的 cypher 命令包装了一个 CALL 查询

我第一次在独立机器上使用 Kafka Connect,本地托管的 kafka 代理和 Neo4j 数据库运行在同一台机器上。我正在尝试使用自定义 cypher q 将数据提取到 neo4j 中...

回答 1 投票 0

自定义 kafka 连接器 - 任务配置创建超时

我正在开发自定义连接器。我想添加动态水平可扩展性。所以连接器,类 public class CustomConnector extends SourceConnector 的对象创建了动态数量的

回答 1 投票 0

Kafka JDBC 连接根据记录名称加载不同的表。可能吗?

当Kafka使用recordname主题名称策略时,一个主题可以有不同的模式。如果使用正确的设置,对消费者来说没有问题。 但目标是每个

回答 1 投票 0

无法在 Confluence Kafka Connect 中下载 JDBC 接收器插件

我正在做一个项目,需要从kafka主题中提取数据并将其推送到mysql数据库中。我在 youtube 上看过很多教程,但大多数教程都已经过时或 4 ye...

回答 1 投票 0

Kafka Connect“在获取分区时收到未知主题或分区错误...”过度记录

我们的 Kafka Connect 服务器很快就会被 connect.log 填满。日志文件中不断出现的WARN是: 警告 [消费者 clientId=consumer-connect-cluster-2,groupId=connect-cluster]

回答 3 投票 0

Confluence Replicator 未将标头传递到 Converter#fromConnectData

tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当

回答 1 投票 0

Confluence Replicator 未将标头传递到 Converter#fromConnectData

tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当

回答 1 投票 0

如何覆盖 Aiven JdbcSinkConnector 上的默认退避期和最大重试次数

我正在使用 Aiven JdbcSinkConnector (io.aiven.connect.jdbc.JdbcSinkConnector) 连接到 Postgres DB。 我想设置自定义退避时间和最大重试次数,但似乎不可能,它

回答 1 投票 0

从消息中配置路径 kafka-s3-connector 的文件夹

我在 AWS MSK 中有以下格式的数据。我想将此数据推送到 AWS s3 存储桶中,但我需要根据消息中的变量值创建文件夹结构。我该怎么做你...

回答 1 投票 0

Kafka-connect 无法发送无模式 JSON

我有一个 Zabbix-webhook 服务,它以 JSON 格式将数据发送到 kafka: “价值”: { "name": "Zabbix 服务器:趋势写入缓存,已使用百分比", “关键”:“z...

回答 1 投票 0

如何使用 Avro Schema 配置 kafka 连接?

我已经开始学习Avro了。我想在kafka connect中实现它。我使用如下配置。这是正确的配置吗? { "name": "调查Wawancara-conn...

回答 1 投票 0

无法将写入的kafka主题中的数据推送到Postgres表

我正在尝试将写入Kafka主题的数据加载到Postgres表中。我可以看到该主题每秒都在接收新消息,而且数据看起来不错。 然而,当我使用 b...

回答 1 投票 0

以 JSON 格式将数据从 Kafka Topic 推送到 PostgreSQL

更新后出错 [2019-07-29 12:52:23,301] INFO 使用 SQL 方言初始化编写器:PostgreSqlDatabaseDialect (io.confluence.connect.jdbc.sink.JdbcSinkTask:57) [2019-07-29 12:52:23,303] 信息

回答 2 投票 0

如何将数据从本地安装的 SQL Server 流式传输到融合云上的 Kafka 主题,而无需在本地计算机中安装 Kafka

SQL Server 数据库位于本地系统 Kafka在Confluence云中配置 本机操作系统为Windows 10 有没有办法在本地机器上不安装Apache Kafka...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.