Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。
如何使用Reactor Kafka KafkaSender API向两个不同的主题(位于两个不同的Kafka集群)发送消息?
我正在尝试使用Reactor Kafka的KafkaSender将消息发送到两个不同的kafka主题。 通过两个不同的卡夫卡主题,我的意思是: 集群中有一个名为“first_topic”的主题...
Kafka主题配置中的local.retention.bytes是什么?
我注意到 Conduktor Console 中有一个新设置,我认为这是最近添加的。 它被称为 local.retention.bytes。还有一个关联的 local.retention.ms。 这是文档内容...
来自 Emil Koutanov 的《Effective Kafka》: 删除策略以日志段的粒度运行。一个 在副本中运行的后台进程会查看每个不活动的进程 将段记录到
具有基于线程并行性的 Kafka Streams 与用于并行处理的 Kafka Parallel Consumers
我们正在为实时协作形式构建事件驱动的架构。我们的解决方案使用 Kafka 作为事件代理,其中事件排序和有状态流处理是关键要求。 ...
无法在 Confluence Kafka Connect 中下载 JDBC 接收器插件
我正在做一个项目,需要从kafka主题中提取数据并将其推送到mysql数据库中。我在 youtube 上看过很多教程,但大多数教程都已经过时或 4 ye...
如何为kafka Brokers和kafka ui配置健康检查?
如何为kafka Brokers和kafka ui配置健康检查? KAFKA_KRAFT_CLUSTER_ID:ulBKTl3BSeOGO3Hn8SOu-Q KAFKA_CFG_PROCESS_ROLES:控制器 KAFKA_CFG_CONTROLLER_QUORUM_VOTERS:
我在 Java 应用程序中使用 kafka-clients 库,并且日志没有附加到我在 log4j2.xml 中指定的 kafka 日志中。但是,org.springframework.kafka 日志是
我正在尝试在本地计算机上使用 java 11 设置 kafka 3.1.0。但是,在列出现有主题时,我遇到超时异常。 步骤如下: 启动zookeeper服务器: 动物园管理员服务器-
Kafka 生产者在发送到通过 AdminClient createTopics 方法创建的主题时抛出“收到未知主题或分区错误”
我对使用 AdminClient createTopics 创建的主题有疑问。 在我的应用程序中,我有以下顺序: 使用 AdminClient 创建具有 1 个分区的新主题,复制因子设置为 1。
Kafka Connect“在获取分区时收到未知主题或分区错误...”过度记录
我们的 Kafka Connect 服务器很快就会被 connect.log 填满。日志文件中不断出现的WARN是: 警告 [消费者 clientId=consumer-connect-cluster-2,groupId=connect-cluster]
无法从 Spring Boot 应用程序连接到云中托管的 kafka
Google云平台中的kafka虚拟机地址为xx.xx.xxx.xxx。 从我的本地 Spring Boot 应用程序(通常连接到本地计算机的 kafka 服务器的 localhost:9092)中,我查...
我尝试通过本地 Spring Boot API 连接 kafka aws 实例。 我可以连接它,但在收听主题时,它抛出以下异常,但创建了新主题
我使用下面的默认命令启动一个普通的 Zookeeper/Kafka 代理,这些命令在一台机器上的 Kafka 文档中进行了描述(我们称之为机器 A) bin/zookeeper-server-start.sh ...
Kafka 生产者说“unknown_topic_or_partition”
我已经尝试让 kafka-docker 工作几天了,但我不知道我做错了什么。现在,我无法使用 ruby-kafka 客户端访问任何主题,因为该节点“不存在”。 ...
我在编程方面相对较新(你可以在我的代码中看到它),但我目前正在学习更多关于kafka和java用于数据处理的知识。对于主题中的数据,我需要与一些表进行连接以进行检查...
Spring Boot 的 log4j2 中没有为组件属性提供 type 属性
我已经实现了一个简单的应用程序,用于将日志流式传输到apache kafka。在生产者中,我已经实现了 log4j2.xml 文件用于配置,现在我必须将 .xml 文件转换为属性...
如果我有一个服务从数据库中获取主题名称并开始使用它,它就可以工作!但是,如果我在这个主题列表中再添加 1 个主题并将其传递给消费者,他们就不会
我正在尝试将站状态数据与 Flink SQL 中的天气更新结合起来。目标是: 计算 1 分钟窗口内每个站的平均状态指标 加入基于
如何在 Redpanda Console/Kowl 中搜索(而非过滤)记录
我希望能够通过 Redpanda 控制台搜索主题内的给定键。 但是,我认为它所做的只是获取最大消息(500),然后对其进行过滤(javascript 和内联),而不是
Confluence Replicator 未将标头传递到 Converter#fromConnectData
tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当