Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
如何通过 docker-compose 运行纯 Kafka 和 Kafka Connect？
我正在编写我的第一个基于 Kafka 的项目，并遇到一些集成问题。卡夫卡和卡夫卡连接。这是我的 docker-compose.yaml 版本：'3.3' 服务： 数据库： 图片：'postg...
从 kafka 连接 API 获取任务 ID 以在日志中打印
我有一个kafka连接接收器代码，下面的json作为curl命令传递来注册任务。 如果有人知道如何获取我的连接的任务 ID，请告诉我。例如在
Kafka Sink 连接器如何在从分区获取消息时确保消息排序。我有多个分区，并且在使用 has...发布消息时确保了消息排序。
将 CDC Azure 数据库 MySQL 创建到 Apache Kafka 时出错
大家好，我想问一些关于 CDC mysql 到 kafka 以及 azure mysql 数据库的问题。我已经关注了本教程： https://techcommunity.microsoft.com/t5/azure-database-for-mysql-blog/...
启动 Kafka Connect（独立连接）后，我的任务在启动后立即失败： java.lang.OutOfMemoryError：Java堆空间 在 java.nio.HeapByteBuffer.(HeapByteBu...
我正在尝试将所有时间戳字段转换为格式为 yyyy-MM-dd HH:mm:ss 的字符串类型。 要转换多个字段，我必须为每个字段单独创建一个转换。 ... “传送...
使用 ClickHouse Kafka Connect Sink 处理 DELETE 操作
我正在开发一个与使用 Kafka Connect 构建流式变更数据捕获相关的项目。变化的来源是MySQL，然后将它们发送到相应的Kafka主题，然后应用...
在 Confluence Control Center UI 中生成 Avro 消息
要开发数据传输应用程序，我需要首先定义键/值 avro 模式。在定义 avro 模式之前，生产者应用程序尚未开发。 我克隆了一个主题及其键/值 avro
删除“table.include.list”不会强制 Debezium 为数据库中的其余表创建主题
我创建了 Debezium 连接器，它的工作原理就像一个魅力： { “名称”：“debezium_title”， “配置”：{ "connector.class": "io.debezium.connector...
在端口 8083 上，我正在运行 Influxdb，我什至可以在 http://localhost:8083 上获取 GUI 现在来到kafka，这里我指的是按照https://kafka.apache.org/quickstart进行的设置 开始...
我想我可能错过了一些配置，但我们正在尝试使用 Debezium 来快照具有大约 800 万条记录的表中的所有行，并在一段时间后停止。 连接器
Kafka Connect：读取 JSON 序列化的 Kafka 消息，转换为 Parquet 格式并保存在 S3 中
我需要从 Kafka 主题读取 JSON 序列化消息，将它们转换为 Parquet 并保留在 S3 中。 背景 官方 S3-Sink-Connector 支持 Parquet 输出格式，但是： 你
如何告诉 debezuim Mysql 源连接器停止重新拍摄 kafka 主题中现有表的快照？
我正在使用 Debezium MySQL CDC 源连接器将数据库从 mysql 移动到 Kafka。连接器工作正常，除了快照表现得很奇怪；连接器占据了第一个
Debezium 的第一次用户，我在 Debezium 中每分钟仅收到大约 1000 条消息（与在线基准相比，这非常慢）。 Kafka 连接/ MySQL/ Kafka Broker 上没有节流，不确定...
我有一条在源头创建并放入主题的 debezium 消息 { “架构”：{ “类型”：“结构”， “字段”：[ ...
如何使用 Kafka Connect 从 S3 存储桶获取 .csv 文件？
据我了解，S3源连接器仅适用于使用S3接收器连接器上传的对象。我还知道有一个 spooldir 连接器可以从本地目录读取 .csv 文件。 布...
使用 JDBC 源连接器将嵌套 JSON 从 Snowflake 流式传输到 Kafka
我正在尝试设置一个数据管道，其中来自 Snowflake 的 SQL 查询结果（使用 OBJECT_CONSTRUCT 函数构造为嵌套 JSON）流式传输到 Kafka 主题。我想我们实现这个...
Kafka Connect Sink JsonConverter DataException：由于序列化错误，将 byte[] 转换为 Kafka Connect 数据失败
为一个项目创建了一个 Apache Kafka 集群（目前有 3 个代理、3 个控制器、1 个工作线程），并且有多个主题从第三方接收数据。工作人员正在利用融合的弹性...
我有一个遗留数据库，它的主键列是字符串（是的，我知道）。我想使用 JDBC kafka Source Connecto 从 postgres DB 到 kafka 主题进行增量转储模式...
我是 Kafka 新手，我正在尝试使用命令行创建一个主题，但出现以下错误： C:\kafka in\windows>kafka-topics.bat --create --topictutorialspedia --boot...