apache-kafka 相关问题

kcat 连接到 Kafka 集群设置，无需身份验证

我正在尝试列出未进行身份验证设置的 Kafka 集群上的主题。我正在使用命令行，其中 b1 和 b2 是代理名称。 kcat -b b1:9094,b2:9094 -F kc.properties -L 我的kc。

在 Spring Kafka 中为批量监听器实现自定义错误处理程序

我将向我的容器工厂添加自定义错误处理程序 这是我的要求： 我有一个批处理侦听器，即使某个特定记录由于

如何使用kafka-php编程库创建主题？

我想用kafka-php编程库创建一个主题。 https://github.com/weiboad/kafka-php 我能怎么做？ 如果kafka服务器中不存在主题，则执行此代码将不起作用。不是这样的

将 CDC Azure 数据库 MySQL 创建到 Apache Kafka 时出错

大家好，我想问一些关于 CDC mysql 到 kafka 以及 azure mysql 数据库的问题。我已经关注了本教程： https://techcommunity.microsoft.com/t5/azure-database-for-mysql-blog/...

使用 Kafka Signal 的 Debezium SQL Server 源连接器的临时快照不起作用

我已关注 https://debezium.io/documentation/reference/2.4/configuration/signalling.html#debezium-signaling-enabling-kafka-signaling-channel 上的文档 但是当我注册来源时

Kafka Engine 从 Clickhouse 物化视图生成消息到 Kafka 主题，写入 key=null 的消息

我正在使用 Kafka Engine 将数据从 ClickHouse 接收到 Kafka 主题。它将记录发送到 Kafka，key=null。 如何使用 Kafka 表引擎为 KafkaRecord 定义键？ 我创建了下一个具体化...

从配置kafkalistener中读取

我有一个 Spring Boot 应用程序，其侦听器如下： @KafkaListener(id = "演示", 主题 = "演示", containerFactory =“重试KafkaListenerContainerFactory”） 公共空间

ClassNotFoundException。不同 Scala 版本有问题吗？

当我尝试运行这个.py时： 导入日志记录 从 cassandra.cluster 导入集群 从 pyspark.sql 导入 SparkSession 从 pyspark.sql.functions 导入 from_json, col 从 pyspark.sql.types 导入

Kafka Connect 堆空间不足

启动 Kafka Connect（独立连接）后，我的任务在启动后立即失败： java.lang.OutOfMemoryError：Java堆空间 在 java.nio.HeapByteBuffer.(HeapByteBu...

从单代理、单主题中的特定分区进行消费

我正在使用具有单个代理和单个主题（3 个分区）的 Kafka 设置。我希望特定的使用者实例仅读取来自本主题内指定分区的消息。 铜...

使用Kafka Connect时如何转换所有时间戳字段？

我正在尝试将所有时间戳字段转换为格式为 yyyy-MM-dd HH:mm:ss 的字符串类型。 要转换多个字段，我必须为每个字段单独创建一个转换。 ... “传送...

使用 ErrorHandlingDeserializer 自定义日志和增量指标

我正在使用最新版本的 Spring Kakfa，3.1.3，似乎异常处理方面最近的一些变化让我感到困惑。 当毒丸进来时，我只想以特定方式登录，然后

Kafka日志（消息）删除似乎不起作用

我承认许多类似的问题（例如：https://github.com/wurstmeister/kafka-docker/issues/366），但我的问题仍然存在。因此 上下文：我有一个用例，其中需要大量 http post...

KafkaListener 反序列化到 Avro POJO 类时出现“Caused by: org.springframework.messaging.converter.MessageConversionException”

我正在使用 Spring Boot 构建一个 Kafka 监听器/消费者，它消耗来自主题的 Avro 数据。 这是一些属性 spring.kafka.properties.spec.avro.reader=true spring.kafka.consumer.

在Cloudera Data Platform CDP公有云中使用Nifi对Kafka进行读/写

Nifi 和 Kafka 现已在 Cloudera Data Platform、CDP 公共云中可用。 Nifi 擅长与一切对话，而 Kafka 是主流消息总线，我只是想知道： 最小的是什么

Kafka 消费者未分配给任何分区

我正在每半小时运行一次的服务中调用该课程。我只想从主题列表中获取最后一条消息。 但随机我没有得到最新的记录。相反，它显示了

Kafka 消费者在暂停和恢复后不消费消息

我正在使用这个node-rdkafka库来实现具有消费者暂停和恢复方法的节点kafka来处理背压。我创建了一个小演示，我可以在其中暂停消费者并......

使用 ClickHouse Kafka Connect Sink 处理 DELETE 操作

我正在开发一个与使用 Kafka Connect 构建流式变更数据捕获相关的项目。变化的来源是MySQL，然后将它们发送到相应的Kafka主题，然后应用...

.NET 测试容器中的 Kafka + Schema 注册表：无法解析 kafka 主机

我正在尝试通过 TestContainers 设置 Kafka 和 Schema 注册表。 我起草了一个设置，可以成功地启动两个容器，但很难从容器外部消耗......

Spark 2.1 结构化流 - 使用 Kafka 作为 Python 源 (pyspark)

使用 Apache Spark 版本 2.1，我想使用 Kafka (0.10.0.2.5) 作为 pyspark 的结构化流的源： kafka_app.py： 从 pyspark.sql 导入 SparkSession 火花=SparkSession.builder。