Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。
当尝试使用下面的 docker compose 在本地运行 kafka 时,出现内存不足错误(java.lang.OutOfMemoryError:直接缓冲内存)。尝试了不同的环境属性仍然出现错误...
Kafka-Connect - Neo4j 似乎围绕我给出的 cypher 命令包装了一个 CALL 查询
我第一次在独立机器上使用 Kafka Connect,本地托管的 kafka 代理和 Neo4j 数据库运行在同一台机器上。我正在尝试使用自定义 cypher q 将数据提取到 neo4j 中...
我正在开发自定义连接器。我想添加动态水平可扩展性。所以连接器,类 public class CustomConnector extends SourceConnector 的对象创建了动态数量的
找不到 lz4 压缩编解码器的库 - kafka python
使用kafka python时出错(kafka-python 1.4.7) 卡夫卡消费者抛出错误 kafka.errors.UnsupportedCodecError:UnsupportedCodecError:找不到 lz4 压缩编解码器的库
我已经在本地环境中部署了strimzi Kafka集群。我还在本地环境中部署了 strimzi connect 。我想运行 JDBC Source Connector 从 Postgresql 读取数据并写入...
我正在学习 Kafka 并尝试为我最近的搜索应用程序创建一个主题。假设推送到 kafka 主题的数据数量很大。 我的 kafka 集群有 3 个代理,并且有
我是 Strimzi 的新人,想得到一些建议 我们在 GKE 中有 kafka 集群。它与 Strimzi 一起部署,并且 我们在所有展台上都有它,包括产品环境。 我们使用的 PVC 配置 卡夫克...
Kafka JDBC 连接根据记录名称加载不同的表。可能吗?
当Kafka使用recordname主题名称策略时,一个主题可以有不同的模式。如果使用正确的设置,对消费者来说没有问题。 但目标是每个
使用 Docker Compose 通过 KRaft 启动多个 Kafka 代理时出错:元数据和检查点文件问题
尝试使用 Docker Compose 和 KRaft 共识协议部署多个 Kafka 代理时,设置无法正确初始化。每个 Kafka 代理都配置为使用 KRaft (
Kafka消费者客户端未在zookeeper上注册消费者组的偏移量
我正在尝试使用 kafka-clients v.0.10.2.1 创建具有不同消费者组的多个消费者到一个 kafka 主题。虽然我无法检索消费者组提交的最后一个偏移量...
我是kafka新手,我的要求是在kafka代理中实现SASL PLAINTEXT(用户名/密码)安全性。我尝试了不同的事情,但到目前为止都取得了成功。我所做的就是
Kafka Consumer Interceptor 未在 Spring Boot 应用程序中注册
我有以下 Kafka 消费者拦截器类(ApiGatewayKafkaConsumerInterceptor): 包 com.aman.api.gateway.kafka.interceptor; 导入java.util.Map; 导入 org.apache.kafka.clients.co...
如何在 Java Spring 中记录原始 Kafka 消息以及分区和偏移量?
当我的应用程序使用 Kafka 消息时,我希望有一个日志行来捕获原始 Kafka 消息正文(在我的例子中为 JSON)以及消息的主题、分区和偏移量。 ...
Kafka - docker 中的 Kraft 模式:来自主机的连接不适用于端口 9092
我使用Apache/Kafka的官方镜像。 我想从主机连接到 Kafka。 这个 Docker-compose 效果很好: 服务: 经纪人: 图片:apache/kafka:最新 端口: - 9094:90...
我正在学习Kafka如何处理异常。我有一个需要 JSON 的消息使用者 传入数据以便 JsonDeserializer 能够正常完成其工作。 如果我发送无效的字符串内容...
我有一个用例,我需要使用架构注册表 A 使用一个主题。然后使用架构注册表 B 生成关于不同主题的新消息。 有没有办法使用 2 个模式注册表...
我正在使用 Spring Boot 应用程序在 Kafka Producer 中将其转换为 toString() 来发送 JSON 数组,但在 Consumer 中收到以下错误: org.springframework.kafka.listener.
我们有一个使用 Reactor Kafka 和 KafkaReceiver 进行消费的 Spring Boot 项目,我们希望收集和发出底层消费者指标。看起来我们可以利用 KafkaRecei...
我们有一个应用程序,每天在 5 分钟内一次在单个主题中的每个分区(总分区为 10)接收大约 60k 条消息。对于公共交通消费者,我们使用默认值
Avro Schema 发送到融合的 kafka 主题时面临的问题
我在 Kafka 主题上注册的 AVRO 架构中使用以下定义 { "doc": "员工名单", “姓名”:“员工”, “类型”: [ &quo...