apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

Kafka Connect:获取连接器配置

我一直在用kafka connect进行测试。但对于每个连接器,我都必须去阅读连接器文档,以了解连接器所需的配置。据我读过卡夫卡

回答 2 投票 0

Kafka 服务器无法运行,同时不会尝试使用 SSAL 进行身份验证(未知错误)

我的卡夫卡服务器有问题。 我已经用端口2080运行apache druid,用端口2181运行zookeeper kafka,以避免破坏druid和kakfa之间的zookeeper。 我没有...

回答 2 投票 0

Kafka 连接提交任务失败

我正在尝试在 k8s 集群上运行 Kafka connect,我面临的问题是在提交连接器期间。我正在运行 4 个不同主题的任务,并希望将数据存储到 S3。 我创建了 4 个不同的...

回答 1 投票 0

Broker 可能无法在 docker compose 中将 kafka 连接器与 kafka 代理连接起来

我正在使用docker容器来构建zookeeper、kafka并连接。 版本:'2.1' 服务: 动物园管理员: 图片:debezium/zookeeper 端口: - 2181:2181 - 2888:2888 - 3888:3888

回答 2 投票 0

Kafka Mongo Sink 问题-Monitoring.interceptor.connector-consumer-mongo-sink 节点断开连接

关键问题: confluence.monitoring.interceptor.connector-consumer-mongo-sink-0] 节点 -1 已断开连接 Kafka 是 Confluence 7.5.3,适用于 Connect,Zookeeper 和 Mongo 是最新的 7.0。一切...

回答 1 投票 0

为数据库中的多个表配置 debezium 连接器

我正在尝试为 MySQL 数据库中的多个表配置 Debezium 连接器(我在 MySQL 8.0 上使用 Debezium 1.4)。 我的公司在创建主题时需要遵循一个命名模式

回答 2 投票 0

Spark 无法读取 AvroParquetWriter 写入的 Parquet 文件中的 DECIMAL 列

我有一些使用 AvroParquetWriter(来自 Kafka Connect S3 连接器)编写的 Parquet 文件。 文件 aseg_lat 中的一列具有架构 DECIMAL(9, 7)。 我可以很好地阅读该专栏

回答 2 投票 0

Debezium 中“不支持表达式求值”如何处理?

我第一次尝试使用 Debezium 连接到 Oracle。 我得到 Cannot parse column default value '"MYUSER"."ISEQ$$_475890".nextval' to type '2'。表达评估...

回答 1 投票 0

Kafka 依赖项 - ccs 与 ce

要开发我的 Kafka 连接器,我需要添加 connect-API 依赖项。 我应该使用哪一个? 例如 mongodb 连接器使用来自 Maven Central 的 connect-api 但开发指南中的链接转到 http...

回答 1 投票 0

Kafka Connect over SSL 问题 - 无法连接代理 - 找到代理 []

Kafka 连接真的可以连接在 SSL 端口运行的代理引导服务器吗? 如果我在 Connect 配置中更改为 PLAINTEXT://broker.local:9092 它可以工作,但容器无法使用 SSL://

回答 1 投票 0

Kakfa createTopics 失败

我是 Kafka 新手,我正在尝试使用命令行创建一个主题,但它给了我以下错误: C:\kafka in\windows>kafka-topics.bat --create --topictutorialspedia --boot...

回答 2 投票 0

使用 Ctrl+C 停止 Debezium 连接器并再次重新启动连接器后,连接器无法工作

我使用 Debezium MySQL 连接器从我的数据库捕获更改数据。以前它可以很好地工作。但是,现在,在我停止连接器并重新启动它后,连接器无法工作。我

回答 3 投票 0

指定 Kafka Connect 连接器插件版本

Kafka 如何处理 CLASSPATH 中提供的同一连接器插件的多个版本?例如,假设我将 mongo-kafka-1.0.0-all.jar 和 mongo-kafka-1.1.0-all.jar 放入

回答 2 投票 0

使用 MongoDB Kafka Sink Connector 过滤和转换消息?

我对 Kafka 和 MongoDB 都很陌生,但我有一个现有的 Kafka 主题,我想将其消费到 Mongo 数据库中。我试图避免构建自己的消费者或连接器,而是使用...

回答 1 投票 0

如何从本地主机连接 ec2 kafka 代理

我无法从本地计算机、在 ec2 实例上运行的 kafka 和 Zookeeper 连接 kafka brocker, 我们允许 ufw 和入站规则,我可以访问除 kakfa 之外的其他端口

回答 1 投票 0

我可以根据内容使用 Mongo Sink Connector 忽略整个消息吗?

我对 Kafka 和 MongoDB 都很陌生,但我有一个现有的 Kafka 主题,我想将其消费到 Mongo 数据库中。我试图避免构建自己的消费者或连接器,而是使用...

回答 1 投票 0

运行弹性搜索接收器连接器时,收到警告遇到非法文档错误 - >响应状态:'BAD_REQUEST'

我尝试使用elasticsearch接收器连接器将汇合审核日志捕获到elasticsearch 就我而言, 我为 kafka connect 创建了一个 docker-compose 文件,然后附加弹性接收器连接器 c...

回答 1 投票 0

Elasticsearch _版本字段

文档表明 _version 字段是每个文档的,并且每次更新文档时都会增加 1。在我的 ES 中查询数据后,我发现 _version 字段对于整个索引来说是全局的。 (

回答 2 投票 0

MirrorMaker 2 - 事件中心连接在身份验证期间终止

目标 我们正在尝试使用 MirrorMaker 2 将源 Kafka(开源变体)上的主题镜像到 Azure 事件中心。我已经查看了 Kafka 和事件中心的文档。镜子制造者...

回答 1 投票 0

Kafka:使消费者组不活跃

我正在运行一个数据管道,以便 我通过jdbc connect将sql db中的数据读入kafka主题 我使用ES的kafka接收器连接器将这些数据接收到Elasticsearch中 我需要重置这个

回答 3 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.