apache-kafka 相关问题

java.io.IOException：使用 KAFKA 3.6 进行负载测试时映射失败

我在 kafka 集群（3 个 Brokers）中对 1000 万条记录进行负载测试时遇到运行时异常，每次遇到此问题后，broker 都会崩溃。在我...

如何告诉 debezuim Mysql 源连接器停止重新拍摄 kafka 主题中现有表的快照？

我正在使用 Debezium MySQL CDC 源连接器将数据库从 mysql 移动到 Kafka。连接器工作正常，除了快照表现得很奇怪；连接器占据了第一个

在Python中处理来自Kafka的消息的最佳方式

大家 我是卡夫卡的新手。我正在为一个 python 模块编写代码，该模块将处理来自 Kafka 的消息。该模块将使用 docker 进行容器化。该模块将读取 Kafka 消息，执行一些操作

Kafka 消息在主服务器中损坏，但副本看起来不错

卡夫卡版本：0.9 我们有一个 Java 应用程序尝试从 Kafka 读取数据。但我们看到 kafka 消息中的数据损坏 以下是 Java 应用程序的错误： org.apache.kafka.common.

Debezium 很慢，如何改进？

Debezium 的第一次用户，我在 Debezium 中每分钟仅收到大约 1000 条消息（与在线基准相比，这非常慢）。 Kafka 连接/ MySQL/ Kafka Broker 上没有节流，不确定...

Flink 作业设计 - 使用混合 Kafka 主题

我有一个kafka主题，其中包含一些事件类型。（这是给出的） 事件是 JSON 文档。 我们将事件类型称为：A、B、C、D、E。 我可以通过使用每个字段中的字段来判断类型

如何实现ReplyingKafkaTemplate而不使用@KafkaListener和@SendTo发送响应到回复主题

美好的一天。 我正在尝试使用 ReplyingKafkaTemplate 实现同步请求回复消息流。作为个人 POC，它运行良好。但我的应用程序已经实现了 kafka 来消费

从 AWS kafka 主题读取消息时出现错误

/workspace/source/kafka_2.13-3.1.0/bin/kafka-console-consumer.sh --bootstrap-server b-2.mbnmskclustersi.whjxra.c13.kafka.us-east-1.amazonaws。 com:9096,b-1.mbnmskclustersi.whjxra.c13.kafka.us-east-1.

如何暂停KafkaJS消费者并在一段时间后重试

我正在使用 KafkaJS (https://kafka.js.org) 连接到 Kafka 集群。我的消费者负责处理有时可能失败并在等待一段时间后成功的任务（

从 kafka 读取的 Spark 结构化流作业未显示在 kafka 消费者组中

我使用 pyspark 创建了一个 Spark 流作业，它使用 readStream 从 kafka 主题读取数据，并使用 writeStream 写入 Oracle 数据库中的表。 作业可以成功读取...

为什么PyFlink给我过去的时间

我有一个 Kafka 主题，其中我每 2-3 秒生成一个条目 然后我有 PyFlink 作业，它将格式化条目并将它们发送到数据库 这是我的 Flink 环境设置 env = StreamExecutionEnvironm...

如何使用 Kafka Connect 从 S3 存储桶获取 .csv 文件？

据我了解，S3源连接器仅适用于使用S3接收器连接器上传的对象。我还知道有一个 spooldir 连接器可以从本地目录读取 .csv 文件。 布...

Kafka log.segment.bytes 与 log.retention.hours

我正在阅读《Kafka：权威指南》第一版这本书来了解代理何时删除日志段。 根据我理解的文本，一个段不会变成 eli...

AWS XRay 未显示带有 Kafka 事件源的 lambda 痕迹

我设置了以下基础设施： SelfManagedKafkaEventSource --> Lambda#A* --> ApiGateway#B* --> Lambda#B* 资源*：启用/检测 XRay 的资源 首先，我启用了 XRay，并且

Reactor Kafka receiveAutoAck 和至少一次语义

在Reactor Kafka中，当使用receiveAutoAck时，如果框架在用户代码处理并返回事件后确认事件，那不是尊重“至少一次”sem...

使用TopologyTestDriver时指定输出主题的分区数

我在为 Kafka Streams 应用程序编写测试时使用 TopologyTestDriver。有没有办法配置InputTestTopic和OutputTestTopic的分区数量？ 记录过程

在 Windows 上运行 Kafka 但出现日志文件夹访问被拒绝的异常

我一直在尝试在本地Windows计算机上运行zookeeper和kafka 2.13。我已经修改了服务器属性以指向 c:/kafka/kafka-logs 和 Zookeeper 数据以指向 c:/kafka/zook...

连接器启动时的 Debezium 信号表

我对 debezium 中的临时快照信号有疑问 假设我在创建 CDC 连接器之前已在数据库中创建了信号表： -- 创建信号表 创建表

Zookeeper 中的错误：在 Kafka 中创建主题时长度不合理 = 308375649

我正在本地 Windows 10 计算机上设置 Kafka。因此，下载了所有必需的二进制文件，并根据文档更新了两个设置服务器和 Zookeeper 属性。 但跑步时...

java中kafka主题的对象序列化错误

我正在尝试序列化一个事件对象以生成一个kafka事件。 该项目的所有代码都可以在这里找到： https://github.com/Gaboxondo/springBootCQRSExample 当我尝试发布活动时