apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

自定义 kafka 连接器 - 任务配置创建超时

我正在开发自定义连接器。我想添加动态水平可扩展性。所以连接器,类 public class CustomConnector extends SourceConnector 的对象创建了动态数量的

回答 1 投票 0

Kafka JDBC 连接根据记录名称加载不同的表。可能吗?

当Kafka使用recordname主题名称策略时,一个主题可以有不同的模式。如果使用正确的设置,对消费者来说没有问题。 但目标是每个

回答 1 投票 0

无法在 Confluence Kafka Connect 中下载 JDBC 接收器插件

我正在做一个项目,需要从kafka主题中提取数据并将其推送到mysql数据库中。我在 youtube 上看过很多教程,但大多数教程都已经过时或 4 ye...

回答 1 投票 0

Kafka Connect“在获取分区时收到未知主题或分区错误...”过度记录

我们的 Kafka Connect 服务器很快就会被 connect.log 填满。日志文件中不断出现的WARN是: 警告 [消费者 clientId=consumer-connect-cluster-2,groupId=connect-cluster]

回答 3 投票 0

Confluence Replicator 未将标头传递到 Converter#fromConnectData

tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当

回答 1 投票 0

Confluence Replicator 未将标头传递到 Converter#fromConnectData

tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当

回答 1 投票 0

如何覆盖 Aiven JdbcSinkConnector 上的默认退避期和最大重试次数

我正在使用 Aiven JdbcSinkConnector (io.aiven.connect.jdbc.JdbcSinkConnector) 连接到 Postgres DB。 我想设置自定义退避时间和最大重试次数,但似乎不可能,它

回答 1 投票 0

从消息中配置路径 kafka-s3-connector 的文件夹

我在 AWS MSK 中有以下格式的数据。我想将此数据推送到 AWS s3 存储桶中,但我需要根据消息中的变量值创建文件夹结构。我该怎么做你...

回答 1 投票 0

Kafka-connect 无法发送无模式 JSON

我有一个 Zabbix-webhook 服务,它以 JSON 格式将数据发送到 kafka: “价值”: { "name": "Zabbix 服务器:趋势写入缓存,已使用百分比", “关键”:“z...

回答 1 投票 0

如何使用 Avro Schema 配置 kafka 连接?

我已经开始学习Avro了。我想在kafka connect中实现它。我使用如下配置。这是正确的配置吗? { "name": "调查Wawancara-conn...

回答 1 投票 0

无法将写入的kafka主题中的数据推送到Postgres表

我正在尝试将写入Kafka主题的数据加载到Postgres表中。我可以看到该主题每秒都在接收新消息,而且数据看起来不错。 然而,当我使用 b...

回答 1 投票 0

以 JSON 格式将数据从 Kafka Topic 推送到 PostgreSQL

更新后出错 [2019-07-29 12:52:23,301] INFO 使用 SQL 方言初始化编写器:PostgreSqlDatabaseDialect (io.confluence.connect.jdbc.sink.JdbcSinkTask:57) [2019-07-29 12:52:23,303] 信息

回答 2 投票 0

如何将数据从本地安装的 SQL Server 流式传输到融合云上的 Kafka 主题,而无需在本地计算机中安装 Kafka

SQL Server 数据库位于本地系统 Kafka在Confluence云中配置 本机操作系统为Windows 10 有没有办法在本地机器上不安装Apache Kafka...

回答 1 投票 0

Kafka主题对象到spark数据帧转换并写入HDFS

我正在尝试在spark编码中创建kafka消费者,在创建时我遇到了异常。我的目标是我必须从主题中读取内容并需要写入HDFS路径。 scala> df2.printSchema(...

回答 1 投票 0

按需运行 Source Connector,而不是基于 poll.interval.ms

我有一个每天更新一次/两次的表,但我希望在表更新后立即将数据推送到Kafka。 是否可以避免每次 poll.interv 都运行连接器...

回答 1 投票 0

汇合水槽连接器 - 有多少就太多了

我想使用 Confluence 接收器连接器来更新远程服务器上的 Postgres 数据库。 平均每天我们可能会收到 1000-2000 条消息(更新)。 创建数百个 s... 是否“合法”?

回答 1 投票 0

使用java将数据插入RedShift[关闭]

我是这里的初学者。我使用 kafka 消费者从 kafka 主题读取数据。该数据位于 ide 的控制台或本地计算机上。 现在我必须将这些数据推送到红移中。 如何做到这一点....

回答 2 投票 0

从 Kafka docker 镜像中使用奇怪的数据

我正在使用合流的kafka docker confluenceinc/cp-服务器:5.4.0 我正在从 postgresql 生成数据。 当我创建一个消费者并想要检索kafka消息时,它以如下格式出现...

回答 2 投票 0

Kafka Elasticsearch 接收器连接器:连接错误

我是使用 Kafka 和 Kafka 连接器的新手。我一直在尝试使用 Elastic Search 作为接收器,使用 Kafka 连接器从我的应用程序传输数据。我能够在 Kafka 中看到消息,b...

回答 1 投票 0

如何使用Kafka Streams/Connect保持MySQL数据库与HBASE同步?

我想借助 Kafka Streams 或 Kafka Connect 根据 MySQL 生成的更新触发器同步 HBASE 数据库。关于其可能性以及如何可能的任何建议?

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.