Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
我正在开发自定义连接器。我想添加动态水平可扩展性。所以连接器,类 public class CustomConnector extends SourceConnector 的对象创建了动态数量的
Kafka JDBC 连接根据记录名称加载不同的表。可能吗?
当Kafka使用recordname主题名称策略时,一个主题可以有不同的模式。如果使用正确的设置,对消费者来说没有问题。 但目标是每个
无法在 Confluence Kafka Connect 中下载 JDBC 接收器插件
我正在做一个项目,需要从kafka主题中提取数据并将其推送到mysql数据库中。我在 youtube 上看过很多教程,但大多数教程都已经过时或 4 ye...
Kafka Connect“在获取分区时收到未知主题或分区错误...”过度记录
我们的 Kafka Connect 服务器很快就会被 connect.log 填满。日志文件中不断出现的WARN是: 警告 [消费者 clientId=consumer-connect-cluster-2,groupId=connect-cluster]
Confluence Replicator 未将标头传递到 Converter#fromConnectData
tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当
Confluence Replicator 未将标头传递到 Converter#fromConnectData
tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当
如何覆盖 Aiven JdbcSinkConnector 上的默认退避期和最大重试次数
我正在使用 Aiven JdbcSinkConnector (io.aiven.connect.jdbc.JdbcSinkConnector) 连接到 Postgres DB。 我想设置自定义退避时间和最大重试次数,但似乎不可能,它
从消息中配置路径 kafka-s3-connector 的文件夹
我在 AWS MSK 中有以下格式的数据。我想将此数据推送到 AWS s3 存储桶中,但我需要根据消息中的变量值创建文件夹结构。我该怎么做你...
我有一个 Zabbix-webhook 服务,它以 JSON 格式将数据发送到 kafka: “价值”: { "name": "Zabbix 服务器:趋势写入缓存,已使用百分比", “关键”:“z...
我已经开始学习Avro了。我想在kafka connect中实现它。我使用如下配置。这是正确的配置吗? { "name": "调查Wawancara-conn...
我正在尝试将写入Kafka主题的数据加载到Postgres表中。我可以看到该主题每秒都在接收新消息,而且数据看起来不错。 然而,当我使用 b...
以 JSON 格式将数据从 Kafka Topic 推送到 PostgreSQL
更新后出错 [2019-07-29 12:52:23,301] INFO 使用 SQL 方言初始化编写器:PostgreSqlDatabaseDialect (io.confluence.connect.jdbc.sink.JdbcSinkTask:57) [2019-07-29 12:52:23,303] 信息
如何将数据从本地安装的 SQL Server 流式传输到融合云上的 Kafka 主题,而无需在本地计算机中安装 Kafka
SQL Server 数据库位于本地系统 Kafka在Confluence云中配置 本机操作系统为Windows 10 有没有办法在本地机器上不安装Apache Kafka...
我正在尝试在spark编码中创建kafka消费者,在创建时我遇到了异常。我的目标是我必须从主题中读取内容并需要写入HDFS路径。 scala> df2.printSchema(...
按需运行 Source Connector,而不是基于 poll.interval.ms
我有一个每天更新一次/两次的表,但我希望在表更新后立即将数据推送到Kafka。 是否可以避免每次 poll.interv 都运行连接器...
我想使用 Confluence 接收器连接器来更新远程服务器上的 Postgres 数据库。 平均每天我们可能会收到 1000-2000 条消息(更新)。 创建数百个 s... 是否“合法”?
我是这里的初学者。我使用 kafka 消费者从 kafka 主题读取数据。该数据位于 ide 的控制台或本地计算机上。 现在我必须将这些数据推送到红移中。 如何做到这一点....
我正在使用合流的kafka docker confluenceinc/cp-服务器:5.4.0 我正在从 postgresql 生成数据。 当我创建一个消费者并想要检索kafka消息时,它以如下格式出现...
Kafka Elasticsearch 接收器连接器:连接错误
我是使用 Kafka 和 Kafka 连接器的新手。我一直在尝试使用 Elastic Search 作为接收器,使用 Kafka 连接器从我的应用程序传输数据。我能够在 Kafka 中看到消息,b...
如何使用Kafka Streams/Connect保持MySQL数据库与HBASE同步?
我想借助 Kafka Streams 或 Kafka Connect 根据 MySQL 生成的更新触发器同步 HBASE 数据库。关于其可能性以及如何可能的任何建议?