apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

SQL Server 数据实时传输到 Kafka

我想将实时数据从SQL Server直接添加到Kafka,我发现https://debezium.io/docs/connectors/sqlserver/提供了一个SQL Server连接器 在文档中,它...

回答 2 投票 0

kafka接收器jdbc postgres连接器中出现错误(接收器连接器配置为'delete.enabled=false'和'pk.mode=none')

使用 jdbc postgres 接收器连接器连接 Kafka 时出现以下错误。 org.apache.kafka.connect.errors.ConnectException:由于不可恢复的异常而退出 WorkerSinkTask。 在组织....

回答 1 投票 0

由于方言识别错误,kafka jdbc 连接器启动失败

我正在尝试启动kafka jdbc接收器连接器 https://www.confluence.io/hub/confluenceinc/kafka-connect-jdbc 将主题中的数据保存到 postgreSql 数据库。我正在使用以下配置 { &

回答 1 投票 0

在kafka中使用sftp csv连接器时如何将key设置为null。我需要这个来在经纪人之间以循环方式分发记录

这是我用于 csv 源连接器的配置。这将生成 key 作为“{}”的空结构。我认为这导致所有消息都累积在一个分区中。 ...

回答 1 投票 0

带有 MSSQL 的 Confluence JDBC 连接器仅传输 100 行

我有一个汇合的 JDBC 源连接器,我将其用于 MSSQL 数据库,问题是它在读取 100 行后立即抛出以下错误。我很困惑,因为我没有遇到过这个问题

回答 2 投票 0

雪花连接器“无法连接到雪花”

我正在使用 Kafka 并尝试将雪花与其连接,但它没有连接。 它给出了某种区域错误,服务器和集群应该位于同一区域,我尝试过

回答 2 投票 0

我想使用源代码启动Kafka连接器

我想使用源代码启动Kafka连接器,但总是遇到一些错误。 这是我的配置,不知道是不是我的配置方式有问题。

回答 1 投票 0

如何将 Apache Kafka Connect 与 Azure Schema 注册表集成?

我尝试使用 Confluence avro 转换器连接 Azure 架构注册表(向 avroConverter 提供架构注册表 url 和值转换器),但无法连接。 然后我在下面遇到了...

回答 1 投票 0

如何使用postgres JDBC接收器连接器流式传输到mysql连接器

周四快乐!我一直在尝试在 Debezium 中创建连接器 Postgres Connector,但只有当表已存在于我的 MySQL 实例中时,我才能捕获更改,这并不理想。

回答 2 投票 0

如何在 Kafka Connect 场景中禁用 Azure Schema 注册表上的架构自动注册?

有谁知道是否可以在 Kafka Connect 场景中设置源连接器,以便它不会自动在 Azure 架构注册表上注册架构? 我问因为我是cur...

回答 1 投票 0

避免 ORA-22922 的 JDBC 参数:不存在的 LOB 值

我正在开发一个kafka连接,它使用sql请求从数据库获取信息。 这个sql请求就像一个 选择 X,X,X, JSON_ARRAYAGG( JSON_OBJECT( 选择 X...

回答 1 投票 0

找不到任何实现 Connector 且名称与 com.mongodb.kafka.connect.MongoSinkConnector 匹配的类

我不使用confluence,只使用apache kafka,已经添加mongo插件,获取.../connector-plugins响应,列出MongoSinkConnector [ { “类”:“com.mongodb.kafka.connect。

回答 3 投票 0

ksqlDB 无法反序列化 JSON 密钥

我正在尝试使用 Kafka Connect 中的 JDBC Source 连接器将数据加载到 ksqlDB 源表中。主题键是从其中两列创建的 JSON 对象。 ksqlDB 无法反序列化...

回答 1 投票 0

kafka 生产者警告:NOT_ENOUGH_REPLICAS 在主题分区 mytopic-events-0 上生成带有相关 id 的错误响应,正在重试

我们在 debezium-mysql-connector 日志中每秒看到此警告 10 次: [kafka-生产者-网络-线程 |连接分布式偏移] 警告 org.apache.kafka.clients. Producer.internals.Sende...

回答 1 投票 0

您可以使用 Kafka Connect 和 Big Query Sink 将嵌套 json 中的元素加载到 Kafka Big Query 中的多行中吗?

我想看看 Kafka Connect 是否是适合我的用例的可能解决方案。我需要近乎实时地将 Kafka 写入大查询数据集。我的消息包含多个嵌套元素...

回答 1 投票 0

Strimzi kafka connect 找不到我的自定义变压器,但找到连接器

我正在运行一个 Strimzi KafkaConnect 集群,它加载自定义转换器以将 SMT 应用于我们的消息。 .jar 位于映像内并由 Strimzi KafkaConnect 集群加载(出现在日志中):

回答 1 投票 0

StreamSource:错误连接器错误后停止(org.apache.kafka.connect.cli.ConnectStandalone:84)

所以我尝试运行 connect-standalone.sh 通过传递两个属性文件来将日志文件中的数据作为消息生成到 Kafka 主题中 信息 Kafka Connect 已启动(org.apache.kafka.conn...

回答 1 投票 0

aws msk 上的 FilePulse 源连接器 - TimeoutException

我目前正在尝试使用 FilePulse Source Connector 但不断收到这些错误 org.apache.kafka.common.errors.TimeoutException:调用(callName = fetchMetadata,.... 引起者:org.apache.kafka....

回答 1 投票 0

覆盖 Kafka Connect 中的属性

我需要使用 Mongo Connect 覆盖一些属性。我在 connect-distributed.properties 中添加了行 Connector.client.config.override.policy=ALL 就像在这个教程中一样 https://debezium.io/

回答 1 投票 0

kafka 连接异常,复制因子:3 大于可用代理:1

kafka连接5.4 只有一个连接器、一名工作人员并使用分布式连接。 以下是错误消息: [2020-06-22 19:09:58,700] 错误 [Worker clientId=connect-1,groupId=test-cluster] 未被捕获

回答 4 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.