apache-kafka 相关问题

Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。

Flink 作业(64 个任务)将记录路由到 1 个任务

我有一个 AWS 托管的 flink 作业写入 Kafka。我似乎无法弄清楚为什么我的大部分记录都被路由到单个任务,尽管有 64 个并行度。 下游kafka主题有16部分...

回答 1 投票 0

Kafka - 消息未仅从其中一个分区被消耗

我们有一个运行 Kafka 2.13 版本的单节点 Kafka 服务。对于其中一个主题,我们配置了 20 个分区,并且只有一个消费者组从该主题消费。这个设置哈...

回答 2 投票 0

无主键的 EF Core

我知道很多其他人都问过有关没有主键的 EF Core 的类似问题,但我没有找到以下问题的解决方案。 如果我使用原始 SQL 命令,它会起作用:...

回答 1 投票 0

如何解决在kafka中创建主题时的错误

这是我在kafka中创建主题时遇到的错误 如何解决上述错误 警告 [AdminClient clientId=adminclient-1] 无法连接到节点 -1 (localhost/127.0.0.1:9094)

回答 1 投票 0

Flink Job with Iceberg Sink重启后数据丢失:如何保证写入一致?

我正在运行一个 Flink 作业,它从 Kafka 读取数据,将其处理为 Flink Row 对象,然后将其写入 Iceberg Sink。为了部署新的代码更改,我从最新的保存点重新启动作业,...

回答 1 投票 0

如何查找kafka经纪人用户名和密码

我正在使用 Kafka 3.0.0 并按照教程运行此命令: kafka-topics.sh --command-config Playground.config --bootstrap-server localhost:9092 --topic first_topic --create --partitions 5 --

回答 1 投票 0

如何在kafka中实现2个api之间的会话超时

我有 2 个 api,有 2 个主题。 API 1 生成一个主题,另一个 api 使用,该 API 生成对另一个主题的响应,API 1 使用。我想在产品之间设置一个超时...

回答 1 投票 0

RabbitMQ 和 kafka 有什么区别?

不同场景下哪个效果更好? 我知道RabbitMQ是基于AMQP协议的,并且为开发人员提供了可视化功能。

回答 3 投票 0

检查点文件 [/var/lib/kafka/data/log-start-offset-checkpoint] 中的行格式错误

我有一个使用 docker compose 运行的 kafka 集群。第一次运行时一切正常,但是当我关闭 Windows 机器并重新打开它并再次启动 docker 集群时,kafka 容器失败。我...

回答 2 投票 0

配置中发现未知功能门KafkaNodePools

我试图使用本指南配置 KafkaNodePools 功能(这可能有效)-> 单击,但现在我的集群操作员出现错误。我该如何修复它? > kubectl

回答 1 投票 0

转换Kafka事件值的扁平化分层键值对结构

我使用 NestJS 服务器作为 Kafka 主题的事件生成器。我已将 Lambda 函数订阅到 Kafka,它会接收一系列事件,如固定屏幕截图所示。 Payload.val的结构...

回答 1 投票 0

Kafka 身份验证失败与客户端机制发生意外的握手请求 PLAIN 启用的机制是 []

我在 Windows 中尝试从 Java 程序连接 Ubuntu 中的 kafka 时遇到异常 [主要] 信息 org.apache.kafka.clients. Producer.KafkaProducer - [生产者 clientId=生产者-1] 即时...

回答 2 投票 0

Spring Kafka 流中的多种拓扑

在 Spring Boot Kafka 流应用程序中创建多个拓扑的最简单或最佳方法是什么? 是否可以使用相同的默认 StreamBuilder bean?或者如果我需要创建一个新的

回答 1 投票 0

Kafka max.request.size VS Compression.type

我正在测试一个程序来验证压缩是否有助于减小主题消息的大小。我的示例主题有配置“max.message.bytes=1024000”,约为 1MB,在生产者端配置我...

回答 1 投票 0

apache-kafka 中的多租户支持

我有一个场景,多个客户端想要生成和消费消息。有没有一种方法可以在 apache kafka 中实现多租户,以便一个客户端在另一个客户端的大量流入时保持完整......

回答 2 投票 0

Kafka 和分区中的热点

我是Kafka新手,我知道只能保证一个分区内的消息顺序,不能保证跨分区的消息顺序。 我不确定这是否会产生可扩展性问题,例如在...

回答 1 投票 0

我的 kafka 流无法连接到 upstash 架构注册表

卷曲此 https://right-boa-11231-eu1-rest-kafka.upstash.io/schema-registry/schemas/ids/8?fetchMaxId=false&subject=test1-value 返回 {“架构”:“{\”类型\“:\”r...

回答 1 投票 0

负载下 KStream-KTable Join 结果不一致

我正在开发一个 Quarkus 微服务,它利用 Kafka Streams 处理来自多个主题的消息。 具体来说,我正在尝试加入从其中两个顶部派生的 KStream 和 KTable...

回答 1 投票 0

Kafka Streams:负载下 KStream-KTable 连接结果不一致

我正在开发一个 Quarkus 微服务,它利用 Kafka Streams 处理来自多个主题的消息。 具体来说,我正在尝试加入从其中两个顶部派生的 KStream 和 KTable...

回答 1 投票 0

具有状态存储和前向兼容性的Kafka Streams

假设我们有一个 Kafka 生产者,它将消息发送到一个主题,然后由 Kafka Streams 应用程序读取该主题,然后将这些消息放入状态存储中以供稍后进一步处理。 我们...

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.