Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。
运行 connect-distributed.sh 时 ProducerConfig 和 ConsumerConfig 的属性文件位置
我是 kafka 和 kafka-connect 的新手。 我想通过 MongoDB Kafka Connect 将数据从 MongoDB 迁移到 Atlas MongoDB。 我使用的是kafka 2.12-2.3.0版本并使用mongo-kafka-connect-1.13.0-a...
Kafka-Connect 服务启动时出现 NullPointerException 日志
我在 kafka-connect 中部署了自定义连接器并使用以下配置进行注册: { “名称”:“rabbitmq-源连接器”, “配置”:{ “康...
我是使用队列工作架构的新手,我对如何使其能够适应工作失败的情况感兴趣。例如 我们有一个工作人员 Alpha 池,将条目放入队列 A 中 然后...
我有一个用例,其中有 2 个不同的主题,来自 2 个不同的应用程序/生产者,其中的事件通过键(例如用户 ID)相关。 为了顺序处理......
批处理监听器没有 BackOff 的 DefaultAfterRollbackProcessor
我正在尝试为批处理侦听器配置错误处理,这样,如果单个记录处理失败,则整个批次将被发送到死信主题(带有一些额外的日志记录)...
我在所有三个代理上的代理级别compression.type=zstd 上添加了日志消息压缩,在代理级别或生产者级别上没有其他更改。 当我尝试从我的 py 读取消息时...
在kafka 2.6.1中,有一个名为test的主题,有两个副本和30个分区。现在分区扩容到40个,但是扩容过程中发现磁盘容量发生了变化...
我在 Laravel 中一起配置 Kafka 和 Redis 时遇到问题。 我能够运行 Redis 以使用内存数据库。所以Redis工作得很好。 $redis = app()->make('redis'); 返回$
使用scala Spark通过zstd压缩读取Kafka数据
我们正在尝试使用 zstd 压缩从 Kafka Producer 读取数据。 但出现错误 - java.lang.NoClassDefFoundError: com/github/luben/zstd/ZstdOutputStreamNoFinalizer 我们正在使用 Spark 3.3.2...
Java Flink NoClassDefFoundError org/apache/flink/shaded/guava30/com/google/common/io/Closer
我有一个 Java 21 应用程序,它使用 Apache Flink(版本 1.20.0)依赖项来过滤 kafka 流。 当我尝试执行我的程序时,出现以下错误: [flink-pekko.actor.default-
无法设置AWS MSK kafkaadvertising.listeners,任何人都可以解释一下下一步该怎么做吗?怎么办?
对于经纪人1 bin/kafka-configs.sh --bootstrap-server b-1.kaffka.6r40l0.c4.kafka.eu-central-1.amazonaws.com:9094 \ --实体类型经纪人 --实体名称 1 --alter --command-config client.properties \...
我们正在运行一个由 6 个代理组成的 kafka 集群。其中 5 个代理似乎完全没问题,但当我们打开第 6 个代理时,它会导致延迟,我们在日志中看到以下内容。任何帮助可以...
我想在GO中模拟消费者和生产者的融合Kafka API进行单元测试,有什么方法(流程/步骤/库)可以成功模拟它们吗?
我正在编写一个spring-boot应用程序,接收请求并进行一些数据处理,然后将数据写入kafka。 当我进行压力测试时,我发现kafka消息传递非常慢。 数据公关...
如何在 Kafka Streams Spring Boot 应用程序中启用 kafka 指标
Prometheus 端点正在工作,但没有获得 kafka 指标 我添加了 micrometer-prometheus 依赖项和 spring.jmx.enabled: true 并且需要管理配置
我想知道我是否遗漏了有关为 Kraft 配置 SSL 的信息。 我们目前有一个 Zookeeper 集群,其中所有代理间和客户端通信都使用 SSL。我们管理自己的 CA 和 GE...
我可以使用以下步骤将 kafka cli 生产者连接到使用 IAM 身份验证和授权保护的 AWS MSK 代理: 本地设置 AWS CLI 将 aws-msk-iam-auth-2.1.1-all.jar 放入 ...
无法使用汇合kafka中的Microsoft sql server接收器连接器将记录从kafka主题发送到数据库
总结:我需要将记录发送到kafka主题,并且使用microsoft sql server接收器连接器必须从主题获取记录并将其发送到数据库。 ** 我尝试将记录发送到...
我正在为 kafka 主题生成 10 条记录,并且能够使用所有 10 条记录,但在 AKHQ UI 中我看到计数为 12 。如果我手动计算这些值,则只有 10 个(与生成的值相同)。 粉煤灰 尝试过改变...