apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

使用Helm安装的Kafka / Confluent连接器

我已经按照这些说明使用Helm图表https://github.com/confluentinc/cp-helm-charts在本地Minikube上安装了Kafka,https://docs.confluent.io/current/installation / ...

回答 2 投票 2

Kafka Connect JDBC Connector - 由于不可恢复的异常而退出WorkerSinkTask

我正在使用JDBC接收器连接器,并在主题中有一个错误的消息。我知道为什么消息是坏的(由于生产者的问题,它由于FK约束违规而失败)。错误 ...

回答 1 投票 0

Kafka JDBC连接器中的自定义分区分配

我有一个用例,我需要编写一个自定义逻辑来根据消息中的某些关键参数分配分区。我对此做了一些研究,发现卡夫卡转型......

回答 1 投票 3

当从多个源插入源主题中的记录时,Kafka源连接器不会按预期拉动记录

在我的一个用例中,我试图创建一个管道,每当我从自定义分区发送消息时,我发送时间戳以毫秒为单位,使用LONG数据类型,因为在架构中,时间戳...

回答 1 投票 0

Kafka使用者失败,因为错误反序列化了Avro消息的id

在我的用例中,我创建了JDBC kafka连接器,从oracle表中提取数据并成功推送到kafka主题但是当我尝试从这个kafka主题中读取消息时,我得到了......

回答 1 投票 0

Kafka connect transforms(SMT) - 帮助解决用例

我有一个用例,我想使用kafka源或接收器连接器将源表键字段映射到目标表引用字段。我是这个论坛的新手,如果我失踪,请告诉我...

回答 1 投票 0

配置Kafka Connect分布式连接器日志(connectDistributed.out)

目前正在收集两种类型的Kafka Connect日志。 connect-rest.log.2018-07-01-21,connect-rest.log.2018-07-01-22 ... connectDistributed.out事情就是我不知道怎么...

回答 1 投票 3

将消息从kafka消费者推送到mongodb

我在事件consumer.on上创建了使用'kafka-node'的kafka使用者('message'()=> {连接到mongodb并插入到集合。})用于创建连接的mongo.js文件...

回答 1 投票 0

Debezium MySQL错误:连接密码为空

我的Debezium连接器有以下docker-compose.yml配置:版本:'3.1'服务:db:image:mysql network_mode:主机环境:...

回答 2 投票 0

Kafka Connect - 无法刷新,在等待生产者刷新未完成的消息时超时

我试图在BULK模式下使用Kafka Connect JDBC Source Connector以及以下属性。 connector.class = io.confluent.connect.jdbc.JdbcSourceConnector timestamp.column.name = timestamp ...

回答 1 投票 1

Kafka Connect:java.lang.IllegalStateException:没有分区的当前分配

我在Kubernetes上运行Kafka Connect(8-16个节点,自动标量)。我已经定义了总共44个连接器,每个Kafka主题一个(每个主题一个分区)。这些话题由Debezium / ...制作

回答 1 投票 0

Solace源连接器“tasks.max”如何连接到队列?

我们正在实现一个3机器集群的Kafka主题。我们将脱离Solace队列,并想知道tasks.max参数的作用以及它如何划分消息。我们......

回答 1 投票 0

kafka_connect找不到它的连接器

我在EC2机器上的docker容器内运行了一个融合的kafka集群,如下面3个docker容器在单独的EC2实例上,用于动物园管理员和kafka-brokers 1个docker容器在...

回答 2 投票 0

如何使用Kafka JDBC Connector跟踪具有特定列值的行(按id)?

我有一个包含大量记录的表。有一列定义了记录的类型。我想收集该列中具有特定值的记录。种类:选择* FROM ...

回答 1 投票 0

在Kafka Connect中使用org.apache.kafka.connect.json.JsonConverter时出错

我正在尝试在Kafka连接中使用Json转换器,但它抛出以下错误:{“type”:“log”,“host”:“connecttest6-ckaf-connect-84866788d4-p8lkh”,“level”:“ERROR”, “NEID”:“卡夫卡连接-...

回答 1 投票 0

从MySQL到Postgres的Debezium与JDBC Sink - changeforms.route.replacement的更改给出了SinkRecordField错误

我正在使用这个debezium-examples source.json {“name”:“inventory-connector”,“config”:{“connector.class”:“io.debezium.connector.mysql.MySqlConnector”,“tasks.max”: “1”,“数据库....

回答 1 投票 0

适用于MySQL的Debezium连接器。缺少db历史记录主题

我正在使用debezium连接器从MySQL数据库捕获更改并将其移动到Kafka。我正在使用Docker。 MySQL的容器,连接器的另一个容器,Kafka的另一个容器。什么时候 ...

回答 1 投票 0

镜像Kafka主题的现有方法的主要区别是什么?

Kafka MirrorMaker是从源代码到目标代理镜像Kafka主题的基本方法。不幸的是,它不能满足我的要求,可以配置得足够多。我的要求非常简单:......

回答 1 投票 3

即使json数据包含架构和有效负载字段,kafka connect hdfs sink连接器也会失败

我正在尝试使用kafka connect hdfs sink connector将json数据从kafka移动到hdfs。即使kafka中的json数据有架构和有效负载kafka connect任务失败,错误org.apache ....

回答 1 投票 4

配置Kafka连接Postgress Debezium CDC插件

我正在尝试使用kafka connect来读取postgres DB中的更改。我在我的本地系统上运行Kafka,我想在独立模式下使用Kafka connect API来读取postgres服务器DB ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.