Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。
我正在研究一种在基于 Kafka 的数据处理管道中进行消费者重试的架构。我们正在使用 Kafka 生产者和消费者,并正在考虑重试主题……
在测试之间为 Spring 属性(Kafka 主题)分配随机值
我正在使用 Kafka 编写一个 Spring Boot 应用程序,并希望通过在每次测试中为我的消费者和生产者创建一个新主题来实现完整的测试隔离,正如 Gary Russell 在此解释的:如何...
有谁知道AWS MSK(Kafka托管流)是否支持KSQL?我在 Confluence 平台上看过很多有关 KSQL 的视频和文档,但没有看过 AWS MSK 的视频和文档。 请让我知道我...
spark 结构化流 - 使用 availableNow 触发器从 kafka 读取
我尝试使用 Spark Stream API 从 Kafka 读取数据并将结果作为增量表写入 S3。对我来说,在 S3 上放置更少的对象很重要,因此我使用 coalesce(2) 在每个批次中创建两个对象。
Kafka KRaft 模式与 docker-compose
我尝试在 KRaft 模式下运行 kafka,但不断遇到错误。这是迄今为止我最好的尝试(我使用 GPT 来生成它,因为我未能找到文档的相关部分): docker-
我创建了一个只有一个分区且在本地主机上没有复制的 kafka 主题,通过 kafka 控制台消费者和控制台生产者测试了消息传输,它工作正常,但在 tr...
我想在我的微服务应用程序和数据库之间安装数据库缓存引擎以减少往返。使用 Kafka 是个好主意吗?有没有可用的用例...
我在 Neo4j 实例中启用了 CDC,并设置了一个 Kafka 主题来监听 Neo4j 数据库中的数据更改。根据 Neo4j 文档,事件数据应该是键值对
Kafka Zookeeper - Java.net.BindException:地址已在使用中
我的机器上安装了 Kafka 并且运行良好。 然后我安装了 NetBeans,我认为这把事情搞砸了。现在我的动物园管理员没有启动。 安装 netBeans 后,我遇到了错误...
用于 GCP 云 SQL Server 的 Debezium Server 源连接器,无需 Kafka
我正在尝试使用 Debezium 服务器(不含 Kafka 的独立版)将数据(增量)从 GCP Cloud SQL Server 加载到 PubSub,然后加载到 BigQuery。 我正在我的笔记本电脑上运行测试,看看这是否是正确的...
从 Docker (ksqlDB) 连接到主机上的 Kafka [已关闭]
我正在从此处找到的 docker-compor 运行 ksqldb-server https://ksqldb.io/quickstart.html#quickstart-content 我的 kafka bootstrap 服务器在同一虚拟机上以标准单独模式运行。 我可以看到...
更改 Kafka docker-compose 中的分配策略
我正在使用 docker 在本指南的帮助下运行 Kafka。我运行消费者,但由于错误 *尝试加入组因致命错误而失败:[错误 23]
我正在尝试在本地 kafka 集成中创建流,但是 KSQL 服务器无法连接到架构注册表,或者该参数永远不会到达 KSQL 服务器容器。 而 KSQL 服务器...
如何从 Windows 主机访问在 WSL2 上的 Docker 中运行的 Kafka Broker?
我有一个简单的 Kafka 代理,使用以下 docker-compose.yaml 在 WSL2 上运行: 服务: 经纪人: 图片:apache/kafka:最新 容器名称:经纪人 环境: KAFKA_NODE_...
使用 gcp 数据流并以 Kafka 作为源运行光束流管道时出现内存不足问题
我正在尝试在Python中设置数据流束流管道,其中源是kafka,接收器是postgres表(请参阅下面的管道代码)。 Kafka 主题有多个分区,其中有多个
我有一个 Akka Stream Kafka 源,正在从 Kafka 主题中读取数据。 我有一个简单的任务,允许禁用消息偏移量的提交。提交通常是调用 commitScala 完成的...
Kafka Connect JDBC 源连接器 - java.sql.SQLException:ORA-01005:给出的密码为空;登录被拒绝
我正在使用 Kafka 同步来自 2 个不同数据库的数据。但是当运行 Kafka Connect 到 oracle-source-connector 文件时,出现错误: java.sql.SQLException: ORA-01005: null passwd;我...
将 kafka-schema-registry-maven-plugin 与父架构和子架构一起使用
我有一个项目,其中有三个模式MetaModel.avsc、RevisionModel.avsc 和RecentChangeEventModel.avsc。其中,RecentChangeEventModel 将其他对象引用为嵌套对象,如下所示...
使用 spring kafka 在 kafka 事务中进行一次发送有意义吗?
从 kafka 3.0 开始,我们默认获得最强的交付保证(acks=all,enable.idempotence=true)。 (https://www.confluence.io/blog/apache-kafka-3-0-major-improvements-and-new-features/)。 大多数情况下,