apache-kafka 相关问题

Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。

运行 docker kafka 时出现内存不足错误

当尝试使用下面的 docker compose 在本地运行 kafka 时,出现内存不足错误(java.lang.OutOfMemoryError:直接缓冲内存)。尝试了不同的环境属性仍然出现错误...

回答 1 投票 0

Kafka-Connect - Neo4j 似乎围绕我给出的 cypher 命令包装了一个 CALL 查询

我第一次在独立机器上使用 Kafka Connect,本地托管的 kafka 代理和 Neo4j 数据库运行在同一台机器上。我正在尝试使用自定义 cypher q 将数据提取到 neo4j 中...

回答 1 投票 0

自定义 kafka 连接器 - 任务配置创建超时

我正在开发自定义连接器。我想添加动态水平可扩展性。所以连接器,类 public class CustomConnector extends SourceConnector 的对象创建了动态数量的

回答 1 投票 0

找不到 lz4 压缩编解码器的库 - kafka python

使用kafka python时出错(kafka-python 1.4.7) 卡夫卡消费者抛出错误 kafka.errors.UnsupportedCodecError:UnsupportedCodecError:找不到 lz4 压缩编解码器的库

回答 2 投票 0

Strimzi 连接操作员不会创建插件文件夹

我已经在本地环境中部署了strimzi Kafka集群。我还在本地环境中部署了 strimzi connect 。我想运行 JDBC Source Connector 从 Postgresql 读取数据并写入...

回答 1 投票 0

kafka topic 中理想的分区数是多少?

我正在学习 Kafka 并尝试为我最近的搜索应用程序创建一个主题。假设推送到 kafka 主题的数据数量很大。 我的 kafka 集群有 3 个代理,并且有

回答 3 投票 0

如何更改Strimzi kafka集群的PV存储类

我是 Strimzi 的新人,想得到一些建议 我们在 GKE 中有 kafka 集群。它与 Strimzi 一起部署,并且 我们在所有展台上都有它,包括产品环境。 我们使用的 PVC 配置 卡夫克...

回答 1 投票 0

Kafka JDBC 连接根据记录名称加载不同的表。可能吗?

当Kafka使用recordname主题名称策略时,一个主题可以有不同的模式。如果使用正确的设置,对消费者来说没有问题。 但目标是每个

回答 1 投票 0

使用 Docker Compose 通过 KRaft 启动多个 Kafka 代理时出错:元数据和检查点文件问题

尝试使用 Docker Compose 和 KRaft 共识协议部署多个 Kafka 代理时,设置无法正确初始化。每个 Kafka 代理都配置为使用 KRaft (

回答 1 投票 0

Kafka消费者客户端未在zookeeper上注册消费者组的偏移量

我正在尝试使用 kafka-clients v.0.10.2.1 创建具有不同消费者组的多个消费者到一个 kafka 主题。虽然我无法检索消费者组提交的最后一个偏移量...

回答 2 投票 0

KAFKA 安全错误 - SASL 纯文本错误

我是kafka新手,我的要求是在kafka代理中实现SASL PLAINTEXT(用户名/密码)安全性。我尝试了不同的事情,但到目前为止都取得了成功。我所做的就是

回答 1 投票 0

Kafka Consumer Interceptor 未在 Spring Boot 应用程序中注册

我有以下 Kafka 消费者拦截器类(ApiGatewayKafkaConsumerInterceptor): 包 com.aman.api.gateway.kafka.interceptor; 导入java.util.Map; 导入 org.apache.kafka.clients.co...

回答 1 投票 0

如何在 Java Spring 中记录原始 Kafka 消息以及分区和偏移量?

当我的应用程序使用 Kafka 消息时,我希望有一个日志行来捕获原始 Kafka 消息正文(在我的例子中为 JSON)以及消息的主题、分区和偏移量。 ...

回答 1 投票 0

Kafka - docker 中的 Kraft 模式:来自主机的连接不适用于端口 9092

我使用Apache/Kafka的官方镜像。 我想从主机连接到 Kafka。 这个 Docker-compose 效果很好: 服务: 经纪人: 图片:apache/kafka:最新 端口: - 9094:90...

回答 1 投票 0

Kafka反序列化键/值异常:记录原始传入消息

我正在学习Kafka如何处理异常。我有一个需要 JSON 的消息使用者 传入数据以便 JsonDeserializer 能够正常完成其工作。 如果我发送无效的字符串内容...

回答 1 投票 0

对 Kafka 消费者和生产者使用不同的模式注册表?

我有一个用例,我需要使用架构注册表 A 使用一个主题。然后使用架构注册表 B 生成关于不同主题的新消息。 有没有办法使用 2 个模式注册表...

回答 1 投票 0

无法使用传入消息调用 Kafka Listener 方法

我正在使用 Spring Boot 应用程序在 Kafka Producer 中将其转换为 toString() 来发送 JSON 数组,但在 Consumer 中收到以下错误: org.springframework.kafka.listener.

回答 2 投票 0

使用 Reactor Kafka 定期轮询消费者指标

我们有一个使用 Reactor Kafka 和 KafkaReceiver 进行消费的 Spring Boot 项目,我们希望收集和发出底层消费者指标。看起来我们可以利用 KafkaRecei...

回答 1 投票 0

大众交通心跳和会话超时如何工作?

我们有一个应用程序,每天在 5 分钟内一次在单个主题中的每个分区(总分区为 10)接收大约 60k 条消息。对于公共交通消费者,我们使用默认值

回答 1 投票 0

Avro Schema 发送到融合的 kafka 主题时面临的问题

我在 Kafka 主题上注册的 AVRO 架构中使用以下定义 { "doc": "员工名单", “姓名”:“员工”, “类型”: [ &quo...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.