apache-kafka-streams 相关问题

与Apache Kafka的内置流处理引擎相关,称为Kafka Streams,它是一个用于使用Apache Kafka构建分布式流处理应用程序的Java库。

KStreams 在 Spring Cloud Stream 中运行速度非常慢

我已经在Spring boot中使用SpringCloudStreams实现了KStreams。 我已准备好从具有 20 个分区的主题写入具有相同分区数的主题。我有 2 个 Pod 正在运行。 平均...

回答 1 投票 0

Spring-boot kafka 应用程序到 GraalVM 本机映像 - org.apache.kafka.streams.processor.internals.DefaultKafkaClientSupplier 无法找到

我有使用 spring-kafka 和 kafka-streams 的 Java Spring-boot 应用程序。 我正在尝试使用以下命令构建 GraalVM 本机映像 mvn -Pnative spring-boot:build-image 构建成功,但是当我尝试时...

回答 1 投票 0

StreamsBuilderFactoryBeanCustomizer 未自定义 StreamsBuilderFactoryBean

我有带有 Kafka 流的 springboot 应用程序,其中我肯定主要的 bean 如下。 @豆 公共 StreamsBuilderFactoryBeanCustomizer StreamsBuilderFactoryBeanCustomizer(CustomStateListener

回答 1 投票 0

多个分区的Kafka本地状态存储

我正在使用kafka处理器api,我从3个分区的主题创建一个状态存储(我有3个经纪人),我有1个流实例。我想知道当我到达当地的国营商店时,我可以买到所有的东西吗...

回答 1 投票 0

从 Kafka 获取最新值

我有一个名为 A 的 Kafka 主题。 主题A中的数据格式为: { id :1,名称:stackoverflow,created_at:2017-09-28 22:30:00.000} { id : 2, name:confluence, 创建时间:2017-09-28 22:00:00.000} { ID ...

回答 1 投票 0

如何获取Kafka Streams InMemoryWindowStore中键值对的数量

获取 InMemoryWindowStore 中键值对的数量(如果可能的话,还可以获取窗口的数量)的最有效方法是什么?我想定期捕获该号码

回答 1 投票 0

使用 Kafka Streams 将单个事件发布到多个主题

如何动态生成 Kafka 流中多个主题的单个事件? 我遇到了 TopicNameExtractor,但它一次只返回 1 个主题。 有没有其他方法可以生产...

回答 1 投票 0

Kafka Streams DSL 拓扑命名的好处

如果没有状态存储并且仅使用无状态操作,命名 Kafka 流处理器有什么好处吗?看起来唯一的好处是漂亮的“Topology#desribe()”输出? 如果我...

回答 1 投票 0

KSQL表数据返回null

我是 KSQL 和 Apache Kafka 的新手。 我正在尝试解决我的表如何不断返回 null 的问题,因为表和流的数据类型相同。 链接到 avro: https://github.com/confluenceinc/

回答 1 投票 0

Kafka-MongoDB 源和接收器连接器

我创建了一个 3 VM Kafka 集群,并在每个 VM 上安装了 mongoDB。另外,运行 kafka-mongoDB 连接器。 我在第一个虚拟机上的源连接器配置是: { “名称”:“来源1”, ...

回答 1 投票 0

google.protobuf.struct.proto 上的 Kafka 架构注册表 409s

我正在使用 Protobuf 作为消息模式构建 Kafka Streams 应用程序。目前,应用程序本身只是从一个主题传递到另一个主题。 我使用 Confluence 在本地运行 Kafka

回答 1 投票 0

在 Python 中加入 Kafka 流

我需要在 Python 中使用 Kafka 流,并且我正在分析可用的不同库。这个问题提供了一些很好的答案,看起来 Faust 分支是最完整的 Kafka

回答 1 投票 0

动态地将同一事件路由到多个kafka主题

我有一个要求,我必须根据某些条件评估将kafka流路由到多个主题。我遇到了TopicNameExtractor接口,但它只支持单个主题。是吗...

回答 1 投票 0

Kafka python API支持流处理吗?

我在Java中使用过Kafka Streams。我在 python 中找不到类似的 API。 Apache Kafka 支持 python 中的流处理吗?

回答 4 投票 0

无法使用 GPKAFKA 在 GreenPlum 中插入数据

我在使用 GPKAFKA 从 KAFKA 读取数据并将数据插入 GreenPlum 数据库时遇到问题。我的目标表有多个不同数据类型的列和外部表...

回答 1 投票 0

Spring Kafka Streams 分组没有公共密钥

过去,我使用 Spring Kafka Streams 进行分组和聚合,并且工作非常顺利,但现在有一个可能的用例,我不确定如何根据需要进行工作。 使用c...

回答 1 投票 0

kafka 中的分区不均匀/无密钥

我有一个主题,有 3 个分区,只有 1 个使用者,我使用的是默认分区器,在本例中为“粘性”。其他一切都默认。 从生产者发送的数据...

回答 2 投票 0

Kafka Streams 内存使用率出乎意料地高

我正在 Kubernetes 中运行 Kafka Streams 应用程序,该应用程序只需将主题直接读取到 GlobalKTable 中,然后提供 HTTP API 来获取键值对。该 Pod 的内存使用量是...

回答 2 投票 0

从不同的应用程序访问全局ktable或globalstore - kstream

我们有2个微服务: 负责消费消息并使用配置信息更新 globalKtable (key=id, value=myObject) 一旦使用某个 id 作为输入激活它,它应该......

回答 1 投票 0

使用 Kafka 流/KSQL 连接表?

我正在导入一个数据库,其中包含一些表示多对多和一对多关系的链接表。 现在让我们关注一对多关系。例如。一个 Biossay 可以有很多文档...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.