apache-kafka 相关问题

Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。

如何使用Reactor Kafka KafkaSender API向两个不同的主题(位于两个不同的Kafka集群)发送消息?

我正在尝试使用Reactor Kafka的KafkaSender将消息发送到两个不同的kafka主题。 通过两个不同的卡夫卡主题,我的意思是: 集群中有一个名为“first_topic”的主题...

回答 1 投票 0

Kafka主题配置中的local.retention.bytes是什么?

我注意到 Conduktor Console 中有一个新设置,我认为这是最近添加的。 它被称为 local.retention.bytes。还有一个关联的 local.retention.ms。 这是文档内容...

回答 1 投票 0

删除策略适用于活动段还是仅适用于非活动段?

来自 Emil Koutanov 的《Effective Kafka》: 删除策略以日志段的粒度运行。一个 在副本中运行的后台进程会查看每个不活动的进程 将段记录到

回答 1 投票 0

具有基于线程并行性的 Kafka Streams 与用于并行处理的 Kafka Parallel Consumers

我们正在为实时协作形式构建事件驱动的架构。我们的解决方案使用 Kafka 作为事件代理,其中事件排序和有状态流处理是关键要求。 ...

回答 1 投票 0

无法在 Confluence Kafka Connect 中下载 JDBC 接收器插件

我正在做一个项目,需要从kafka主题中提取数据并将其推送到mysql数据库中。我在 youtube 上看过很多教程,但大多数教程都已经过时或 4 ye...

回答 1 投票 0

如何为kafka Brokers和kafka ui配置健康检查?

如何为kafka Brokers和kafka ui配置健康检查? KAFKA_KRAFT_CLUSTER_ID:ulBKTl3BSeOGO3Hn8SOu-Q KAFKA_CFG_PROCESS_ROLES:控制器 KAFKA_CFG_CONTROLLER_QUORUM_VOTERS:

回答 1 投票 0

使用 sfl4j 的库不遵循 log42.xml 配置

我在 Java 应用程序中使用 kafka-clients 库,并且日志没有附加到我在 log4j2.xml 中指定的 kafka 日志中。但是,org.springframework.kafka 日志是

回答 1 投票 0

ERROR org.apache.kafka.common.errors.TimeoutException:等待节点分配超时 - 在 Windows 中安装 kafka 3.1.0+java11 时出错

我正在尝试在本地计算机上使用 java 11 设置 kafka 3.1.0。但是,在列出现有主题时,我遇到超时异常。 步骤如下: 启动zookeeper服务器: 动物园管理员服务器-

回答 2 投票 0

Kafka 生产者在发送到通过 AdminClient createTopics 方法创建的主题时抛出“收到未知主题或分区错误”

我对使用 AdminClient createTopics 创建的主题有疑问。 在我的应用程序中,我有以下顺序: 使用 AdminClient 创建具有 1 个分区的新主题,复制因子设置为 1。

回答 2 投票 0

Kafka Connect“在获取分区时收到未知主题或分区错误...”过度记录

我们的 Kafka Connect 服务器很快就会被 connect.log 填满。日志文件中不断出现的WARN是: 警告 [消费者 clientId=consumer-connect-cluster-2,groupId=connect-cluster]

回答 3 投票 0

无法从 Spring Boot 应用程序连接到云中托管的 kafka

Google云平台中的kafka虚拟机地址为xx.xx.xxx.xxx。 从我的本地 Spring Boot 应用程序(通常连接到本地计算机的 kafka 服务器的 localhost:9092)中,我查...

回答 2 投票 0

从 Java API 连接 Kafka aws 实例

我尝试通过本地 Spring Boot API 连接 kafka aws 实例。 我可以连接它,但在收听主题时,它抛出以下异常,但创建了新主题

回答 1 投票 0

从 LAN 外部访问 Kafka 代理

我使用下面的默认命令启动一个普通的 Zookeeper/Kafka 代理,这些命令在一台机器上的 Kafka 文档中进行了描述(我们称之为机器 A) bin/zookeeper-server-start.sh ...

回答 1 投票 0

Kafka 生产者说“unknown_topic_or_partition”

我已经尝试让 kafka-docker 工作几天了,但我不知道我做错了什么。现在,我无法使用 ruby-kafka 客户端访问任何主题,因为该节点“不存在”。 ...

回答 2 投票 0

使用kafka+java流式传输数据并处理

我在编程方面相对较新(你可以在我的代码中看到它),但我目前正在学习更多关于kafka和java用于数据处理的知识。对于主题中的数据,我需要与一些表进行连接以进行检查...

回答 2 投票 0

Spring Boot 的 log4j2 中没有为组件属性提供 type 属性

我已经实现了一个简单的应用程序,用于将日志流式传输到apache kafka。在生产者中,我已经实现了 log4j2.xml 文件用于配置,现在我必须将 .xml 文件转换为属性...

回答 1 投票 0

Kafka中如何进行持续消费?

如果我有一个服务从数据库中获取主题名称并开始使用它,它就可以工作!但是,如果我在这个主题列表中再添加 1 个主题并将其传递给消费者,他们就不会

回答 1 投票 0

使用基于地理空间邻近度的滚动窗口聚合来连接时态表

我正在尝试将站状态数据与 Flink SQL 中的天气更新结合起来。目标是: 计算 1 分钟窗口内每个站的平均状态指标 加入基于

回答 1 投票 0

如何在 Redpanda Console/Kowl 中搜索(而非过滤)记录

我希望能够通过 Redpanda 控制台搜索主题内的给定键。 但是,我认为它所做的只是获取最大消息(500),然后对其进行过滤(javascript 和内联),而不是

回答 1 投票 0

Confluence Replicator 未将标头传递到 Converter#fromConnectData

tl;博士;如何实现使用标头的 Kafka 转换器? (使用 Confluence Replicator 时) 我制作了一个自定义的 Kafka Connect 转换器,据我了解,当

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.