apache-kafka 相关问题

Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。

Kafka 生产者错误 --> System.InvalidOperationException

所以我每 3 秒发送大约 300 条记录,我看到错误消息: System.InvalidOperation:创建线程失败:结果太大(#) 在 Confluence.Kafka.ProducerBuilder`2.Build() 我

回答 1 投票 0

无法通过MirrorMaker2将旧数据从zookeeper集群迁移到KRaft集群

我正在尝试使用 KRaft 将 Zookeeper 集群(一个 kafka 代理)的卷传输到我们新的 kafka 集群。为此,我尝试设置 kafka 连接并使用镜像制作器。我管理...

回答 1 投票 0

加载 debezium 时发生 Kafka 连接错误 - “无法实例化”“无法连接到并描述 Kafka 集群”

我在我的AWS服务器上运行zookeper、kafka和debezium。我需要将它与本地机器的mysql连接,并将数据从mysql获取到debezium。 通过运行 debezium 连接器,我收到这些错误。 ...

回答 1 投票 0

如何使用 KafkIO 访问 Confluence Cloud Schema Registry?

我使用 KafkIO UI (https://www.kafkio.com) 连接到 Confluence Cloud Schema Registry 时出错。当我点击“测试架构注册表”时,屏幕截图中不断出现超时错误。它

回答 1 投票 0

JWT 声明中没有主体名称:sub

我正在使用 kafka kafka_2.13-3.9.0 并使用 OKTA 配置 OAUTHBEARER machaninsm 。 设置经纪人的标准方法是什么? 启动 kafka 服务器时出现此错误 ./bin/kafka-服务器...

回答 1 投票 0

CDC Oracle 使用中 Kafka 和 Debezium 的最佳实践

我们正在努力寻找一些有关使用 Kafka/Connect for CDC 的“最佳实践”。我们正在努力实现什么目标; 通过 Kafka Connect 从 Oracle 提取在线重做日志。 我们...

回答 1 投票 0

DefaultKafkaHeaderMapper 无法解码 json 类型

我使用的是spring-kafka,我的生产者是org.apache.kafka:kafka-clients:2.3.12,消费者是org.springframework.kafka:spring-kafka:2.1.7.RELEASE 我在消费者上收到以下错误...

回答 1 投票 0

org.xerial.snappy.SnappyError:[FAILED_TO_LOAD_NATIVE_LIBRARY] 找不到 os.name=Mac 和 os.arch=aarch64 的本机库

我正在构建一个cdc管道,通过maxwell读取mysql binlog并将它们放入kafka中,我的压缩类型在maxwell配置中是snappy。但是在我的spring项目的消费者端,我得到了这个

回答 2 投票 0

查看在流应用程序的输出中创建的重复记录

我有一个 Kafka Streams 应用程序,它从 Kafka 主题获取输入,在 5 分钟窗口内将其聚合到原始值的三个字段上。 在输出方面,我需要翻译 aggre...

回答 1 投票 0

创建主题时 Kafka 中出现 ClusterAuthorizationException

我们的 Confluence Kafka 安装在 AWS EC2 上。我们使用 SASL/SSL 安全协议和 LDAP 进行用户身份验证。 尝试创建主题时出现以下异常: 错误 [KafkaAp...

回答 1 投票 0

如何处理Kafka消费者挂起/滞后和未处理的消息?

我正在使用 Kafka 消费者,该消费者在处理来自分区的消息时偶尔会挂起或滞后。这引起了一些问题,我需要有关最佳实践和配置的指导......

回答 1 投票 0

CMAK 哎呀! [ActorSelection[Anchor(akka://kafka-manager-system/)] 询问超时

我正在尝试根据这篇文章在docker上实现apache kafka https://medium.com/simform-engineering/set-up-kafka-ecosystem-on-local-machine-1a00a436c0ba。 我已经更改了 yml 撰写文件...

回答 1 投票 0

Kafka 消费者在获取相关 ID 为 22 的元数据时出错:{FINSRVC_TOPIC_PROD=UNKNOWN_TOPIC_OR_PARTITION}

我的 springboot kafka 消费者微服务在我第一次在生产中部署并消费消息时工作正常。 我上周重新部署了微服务,做了一些小的更改,然后就可以了

回答 1 投票 0

如何在写入1个流的多个租户之间实现公平调度

到目前为止,我有一个带有 10 个分区的 Kafka 主题。我们有 10000 个客户不断将不受控制的数据转储到流中。目前的问题是 没有任何通知(或很少

回答 2 投票 0

在Kafka中,具有幂等生产者,主题分区中是否有可能出现间隙?

假设一个 KAFKA PRODUCER 应用程序(C++,librdkafka,enable.idempotence=true)为单个主题分区生成消息 1、2、3、4 和 5。 有没有kafka写的可能(我...

回答 1 投票 0

新部署的 Milvus 集群创建集合时出现未知 Broker 错误

我在尝试在 Milvus 中创建名为 my_collection 的集合时遇到问题。该过程失败,并显示来自 rootcoord 服务的以下错误消息: {“级别”:“

回答 1 投票 0

Apache Kafka 偏移问题

我正在使用融合的kafka库来创建分布式系统,但我无法理解Kafka本身的一些原理。 假设现在我正在与中央合作,它必须倾听

回答 1 投票 0

Kafka 无法识别密钥

我正在尝试在本地运行的代理中设置 SSL 以测试设置。该代理将与 Kraft 一起运行,并且将使用 PEM(而不是密钥库或信任库)设置 SSL。 我已经

回答 1 投票 0

Kafka 消费者在部署期间丢失消息

我的消费者继承自BasicKafkaConsumerV2。在部署期间,当 Pod 旋转时,我丢失了一些消息,这些消息从手动 commit() 后打印的偏移量中可见。

回答 1 投票 0

通过 kafka-console- Producer 发送带有 schema 消息的 json 的正确方法

我想测试我使用 docker-compose 在本地设置的 kafka/connect/schema 注册表配置。最初 - 我使用 s3 接收器插件设置了一个连接实例,该插件写入传入的 json 混乱...

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.