Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
目前，我们正在为融合的kafka connect分布式工作集群使用几个自定义connetor插件。困扰我很长一段时间的一件事是kafka connect写了所有日志......
将在kafka中创建的主题自动下沉到elasticsearch
我有在kafka（test1，test2，test3）中创建的主题，我想在创建时将它们弹到弹性。我尝试了topics.regex，但它只为已存在的主题创建索引。我怎么能够 ...
kafka connect - 如何从有效负载中过滤模式元数据
我正在尝试从有效负载中删除模式，这里是配置connector.properties name = test-source-mysql-jdbc-autoincrement connector.class = io.confluent.connect.jdbc ....
Kafka SMT用于ISO UTC日期时间格式的日期时间转换
是否可以将MySQL中datetime类型的列转换为源连接器中的UTC-ISO DateTime格式？输入详细信息列名：Modified_dtmStamp示例值：2018-08-03 16：...
Kafka用例：从kafka连续读取，对消息执行解密，然后插入到db
Kafka用例：从Kafka（可能是一个流）连续读取，使用Java方法对消息值执行解密，然后插入到db（或者接收器或者我有一个Java REST API，可以...
我可以让Kafka使用者/接收器连接跳过主题中的特定分区吗？
Kafka Connect中的任何选项都指定从哪个分区专门读取消息。基本上，我在Kafka Connects中寻找一个选项来手动分配要读取的分区列表。 ...
假设我有一个文件填充了由新行字符（\ n）分隔的JSON对象/行。当基于FileStreamSource的连接器读取此文件时，它会将每行视为java.lang ....
我正在使用Debezium MySql连接器将数据库更改事件从MySql数据库传输到Kafka。我需要将特定的转换应用于某些指定表中的记录（但不是来自...
如何为IoT Hub的每个新生产者添加一个新的Kafka主题？
我正在研究Azure云解决方案。我正在使用连接到Kafka的IoT Hub来处理来自各种物联网设备的数据。我面临的是所有来自多个设备的数据......
回复kafka模板连接标头（CorrelationId）不会发送到Google pub sub
我正在尝试使用Replyingkafkatemplate，其中自动添加了correlationid，但是当使用kafka connector-Sink连接器将消息发布到Google pubsub时，标题丢失了。 ...
是否可以在kafka连接器中为kafka使用者组的主题重置偏移？
我的kafka接收器连接器读取多个主题（配置了10个任务），并处理来自所有主题的300个记录。根据每条记录中的信息，连接器可能......
org.apache.kafka.connect.errors.DataException：Struct模式不匹配
尝试使用java中的kafka.connect.data.Schema在特定对象类型的数组模式中创建和填充string类型的数组模式。但得到错误org.apache.kafka.connect ....
Kafka连接器和架构注册表 - 错误检索Avro架构 - 未找到主题
我有一个主题，最终会有很多不同的模式。现在它只有一个。我通过REST创建了一个连接作业，如下所示：{“name”：“com.mycompany.sinks.GcsSinkConnector -...
如何在达到特定大小（128 Mb）时将Kafka消息提交到HDFS接收器
我的配置：Confluent（5.0.0）Kafka生成一些avro消息。 Connect worker（HDFS连接器接收器）将这些消息以Parquet格式传输到HDFS节点。我配置连接工作者提交...
用于Kafka Connect的Debezium SQL Server连接器不在Kafka中创建主题
我试图让Debezium的SQLServerConnector在Kafka Connect中工作，一切似乎运行正常，除了没有创建主题。我错过了什么吗？它开始了任务......
org.apache.kafka.connect.errors.DataException：数组默认值的JSON无效：“null”
我正在尝试使用confluent-4.1.1来使用汇合的Kafka s3连接器。 s3-sink“value.converter.schema.registry.url”：“http：// localhost：8081”，“value.converter”：“io.confluent.connect.avro ....
我已经使用独立方法手动安装了Confluent Kafka Connect S3，而不是通过Confluent的流程或作为整个平台的一部分。我可以从...成功启动连接器
Kafka spring boot应用程序生产商无法用Kafka Sink Connector和Avro格式反映出来
我的目标是我有春天启动应用程序kafka生产者与Avro序列化属性，我除了推送到相应的主题，应该通过汇合Sink访问的消息...
如何使用rest api设置kafka connect auto.offset.reset
我创建了一个将数据转换为其他存储的接收器kafka connect;我想在使用kafka connect rest api创建新连接器时将auto.offset.reset设置为最新版本。我设置了consumer.auto ....
如何订阅Apache Kafka主题并将数据流传输到Hive表
如何订阅Apache Kafka主题并将主题数据流式传输到Hive表？ Kafka主题将实时更新。