apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

如何让RabbitMQ Kafka连接器生成的字节数组数据获得密钥?

我使用官方的Kafka RabbitMQ连接器从RabbitMQ实例获取JSOn消息。目前,此连接器如果配置如此名称= RabbitMQConsentConsumer connector.class = io.confluent ....

回答 1 投票 0

如何通过融合将kafka主题的流转换为elasticsearch?

我从机器读取数据并将其作为JSON流式传输到kafka主题。我想阅读这个主题并将streamdata存储到elasticsearch中。我的步骤:1。创建KSQL Streams到...

回答 1 投票 0

Kafka连接JDBC接收器 - 将嵌套的json映射到多行

作为要求的一部分,我们将继续使用Kafka连接将数据推送到我们的数据库。到目前为止我读到的是消息和数据库行之间将存在1x1映射,即单个消息...

回答 1 投票 0

Kafka Connect忽略指定的主题策略

我想使用下面的连接器配置将多个表数据发布到同一个Kafka主题,但我看到下面的异常异常引起:io.confluent.kafka.schemaregistry.client.rest ....

回答 1 投票 0

无法连接并描述Kafka群集。检查worker的代理连接和安全属性

安装:kafka_2.11-2.1.0和zookeeper-3.4.13运行:bin / zookeeper-server-start.sh config / zookeeper.properties bin / kafka-server-start.sh config / server.properties运行连接器:bin /连接-...

回答 1 投票 1

如何编写Kafka连接器以与Facebook API集成?

我正在尝试编写一个Kafka连接器来从Facebook获取数据。问题是,如何通过他们的API从Facebook获取数据,而不超过由...提供的API命中限制

回答 1 投票 0

要阻止Kafka Connect Worker杀死哪个进程?

我想杀死我的Kafka Connect分布式工作者,但我无法(或者我不知道如何)确定在linux中运行的哪个进程是该工作者。运行ps aux |时grep worker我确实看到了......

回答 1 投票 0

在jdbc连接器中使用递增摄取的问题

我正在尝试使用递增的摄取来生成有关更新mysql中的表的主题的消息。它使用时间戳工作,但似乎没有使用递增列模式。当我 ...

回答 1 投票 0

即使在指定quote.sql.identifiers = NEVER之后,table.whitelist也是区分大小写的

我使用JDBC源连接器从oracle到kafka主题摄取数据。我有用小写字母创建的kafka主题,所以我必须指定table.whitelist = table_name(小例)。由...来...

回答 1 投票 0

如何将Kafka与Elasticsearch连接?

我是Kafka的新手,我使用kafka通过logstash收集netflow(没关系),我想将数据从kafka发送到elasticsearch,但是有一些问题。我的问题是如何连接......

回答 2 投票 5

Kafka Connect:“这个工人已经存在任务”

我看到连接器的状态,我有这个异常org.apache.kafka.connect.errors.ConnectException:此worker中已存在任务:* org.apache.kafka中连接器的名称* ....

回答 1 投票 2

汇流控制中心不拦截流

我正在使用带有Kafka流的CCC,该流由Debezium的Postgres连接器填充。我正在使用以下docker-compose.yml:version:'2'服务:zookeeper-1:image:...

回答 1 投票 0

如何为Kafka Connect和Spark注册和使用AVRO Schema?

我不太明白如何在jdbc源或接收器连接器中注册模式以使用它并在Spark中读取数据这是我想用来从...检索记录的avro模式

回答 1 投票 0

使用Kafka Connect实时读取CSV文件

如何在Java中集成Kafka connect和Kafka producer,以便我可以实时读取CSV文件?我很难找到与此相关的任何来源。现在我正在使用scala-ide来......

回答 2 投票 0

使用jdbc-sink-connector中的kafka SMT将avro架构中的Map字段转换为字符串?

我有一个定义如下的avro模式:[{“namespace”:“com.fun.message”,“type”:“record”,“name”:“FileData”,“doc”:“FileData的Avro Schema”, “田地”:[{“......

回答 1 投票 2

Kafka AVRO Consumer:MySQL Decimal到Java Decimal

我试图从MySQL表中消耗记录,其中包含3列(Axis,Price,lastname)及其数据类型(int,decimal(14,4),varchar(50))。我插入了一条有...的记录

回答 1 投票 0

Kafka Connect处于调试模式

我使用的是原生的apache kafka而不是融合版的kafka。我正在使用kafka jdbc连接器插件。我打算提出一个断点并通过我的IDE(intelliJ)进行检查。怎么做 ...

回答 1 投票 1

Java中的Kafka Connect动态连接器

这是开发人员指南关于动态连接器的说法https://docs.confluent.io/current/connect/devguide.html#dynamic-connectors并非所有连接器都有一组静态分区,......

回答 1 投票 0

Kafka如何知道源数据何时发生变化?

我找不到明确的答案,所以我想我会问专家。 Kafka如何观察和检测给定来源中的哪些数据发生了变化?例如,在关系数据库中?投票......

回答 1 投票 0

使用kafka connect配置debezium mysql连接器失败

我正在使用kafka 2.0与kafka连接在分布式模式下运行并尝试配置debezium mysql连接器但得到错误HTTP / 1.1 500内部服务器错误服务器:squid Mime-Version:1.0 ...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.