与Apache Kafka的内置流处理引擎相关,称为Kafka Streams,它是一个用于使用Apache Kafka构建分布式流处理应用程序的Java库。
我有一个名为 A 的 Kafka 主题。 主题A中的数据格式为: { id :1,名称:stackoverflow,created_at:2017-09-28 22:30:00.000} { id : 2, name:confluence, 创建时间:2017-09-28 22:00:00.000} { ID ...
如何获取Kafka Streams InMemoryWindowStore中键值对的数量
获取 InMemoryWindowStore 中键值对的数量(如果可能的话,还可以获取窗口的数量)的最有效方法是什么?我想定期捕获该号码
如何动态生成 Kafka 流中多个主题的单个事件? 我遇到了 TopicNameExtractor,但它一次只返回 1 个主题。 有没有其他方法可以生产...
如果没有状态存储并且仅使用无状态操作,命名 Kafka 流处理器有什么好处吗?看起来唯一的好处是漂亮的“Topology#desribe()”输出? 如果我...
我是 KSQL 和 Apache Kafka 的新手。 我正在尝试解决我的表如何不断返回 null 的问题,因为表和流的数据类型相同。 链接到 avro: https://github.com/confluenceinc/
我创建了一个 3 VM Kafka 集群,并在每个 VM 上安装了 mongoDB。另外,运行 kafka-mongoDB 连接器。 我在第一个虚拟机上的源连接器配置是: { “名称”:“来源1”, ...
google.protobuf.struct.proto 上的 Kafka 架构注册表 409s
我正在使用 Protobuf 作为消息模式构建 Kafka Streams 应用程序。目前,应用程序本身只是从一个主题传递到另一个主题。 我使用 Confluence 在本地运行 Kafka
我需要在 Python 中使用 Kafka 流,并且我正在分析可用的不同库。这个问题提供了一些很好的答案,看起来 Faust 分支是最完整的 Kafka
我有一个要求,我必须根据某些条件评估将kafka流路由到多个主题。我遇到了TopicNameExtractor接口,但它只支持单个主题。是吗...
我在Java中使用过Kafka Streams。我在 python 中找不到类似的 API。 Apache Kafka 支持 python 中的流处理吗?
无法使用 GPKAFKA 在 GreenPlum 中插入数据
我在使用 GPKAFKA 从 KAFKA 读取数据并将数据插入 GreenPlum 数据库时遇到问题。我的目标表有多个不同数据类型的列和外部表...
过去,我使用 Spring Kafka Streams 进行分组和聚合,并且工作非常顺利,但现在有一个可能的用例,我不确定如何根据需要进行工作。 使用c...
我有一个主题,有 3 个分区,只有 1 个使用者,我使用的是默认分区器,在本例中为“粘性”。其他一切都默认。 从生产者发送的数据...
我正在 Kubernetes 中运行 Kafka Streams 应用程序,该应用程序只需将主题直接读取到 GlobalKTable 中,然后提供 HTTP API 来获取键值对。该 Pod 的内存使用量是...
从不同的应用程序访问全局ktable或globalstore - kstream
我们有2个微服务: 负责消费消息并使用配置信息更新 globalKtable (key=id, value=myObject) 一旦使用某个 id 作为输入激活它,它应该......
我正在导入一个数据库,其中包含一些表示多对多和一对多关系的链接表。 现在让我们关注一对多关系。例如。一个 Biossay 可以有很多文档...
Kafka Streams - Kafka 1.0.0 中的重新平衡异常
在 Kafka Streams 1.0.0 中,我们看到一个奇怪的错误。我的流应用程序摄取一个 kafka 主题并在不同的状态存储上发出多个聚合,现在该应用程序在 2 个节点的集群上运行,...
所以我有一个流写入全局状态存储并从中读取,并且在很多时候它最终是一致的 我已经尝试过他的顺序: 1.) 向流发送新消息 2.) 从
KStream-当第二个匹配值不存在时,KStream leftjoin 不会产生任何值
我们有这些 POJO: @数据 @NoArgsConstruct @AllArgsConstruct 类我的帖子{ 私有字符串内容; 私人 SeenInfo seeInfo; } @数据 @NoArgsConstruct @AllArgsConstruct 班级
为什么 Kafka Streams 创建用于聚合和连接的主题
我最近创建了我的第一个 Kafka 流应用程序用于学习。我使用了 spring-cloud-stream-kafka-binding。这是一个简单的电子商务系统,我正在其中阅读一个名为产品的主题,其中...