spring-cloud-stream-binder-kafka 相关问题


Spring-Cloud-Stream serde SerializationException 会阻止消息在被消费和修改后被发布

我的配置如下: 春天: 应用: 名称:交易丰富器应用程序 一体化: 轮询器: 固定延迟:5000 云: 溪流: 卡夫卡: 绑定...


如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期

我正在使用 Spring kafka 实现,我需要通过 REST API 启动和停止我的 kafka 消费者。为此,我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。


Spring Boot 3.1.X及以上版本的Kafka客户端连接问题

我最近将我的一项 Spring Boot 服务升级到 3.1.x,升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...


将 localstack 与 Spring Cloud AWS 2.3 一起使用时出现未知主机

“ResourceLoader”与 AWS S3 可以很好地处理这些属性: 云: 亚马逊: s3: 端点:s3.amazonaws.com <-- custom endpoint added in spring cloud aws 2.3 creden...


使用 Spring Cloud LoadBalancer 进行基于请求的粘性会话配置

我使用 Spring Cloud LoadBalancer 对基于请求的粘性会话进行了以下配置 春天: 云: discovery.client.simple.instances: 打个招呼: -实例ID:说-


本地运行测试时如何禁用 Spring Cloud Google Secret Manager 4.x+?

我们使用的是 spring boot 3.2,我们正在尝试将 spring-cloud-gcp-starter-secretmanager 从版本 3.2.1 升级到 4.9.0。当我们这样做时,我们的集成测试会失败,并显示: java.lang.


Spring Cloud Gateway 返回 404 未找到错误

我尝试使用 Reactive 和 MVC Spring Cloud API 网关,但在两次尝试中我都在 Postman 中收到 404 Not Found 错误响应。 我只有一个用户服务和一个发现服务器(尤里卡)...


HttpMediaTypeNotSupportedException:从 AWS Lambda 运行 SpringBoot REST 应用程序时不支持内容类型“application/octet-stream”

我正在尝试在 AWS Lambda 中运行 Spring Boot 应用程序(例如,各种示例使用与 https://www.baeldung.com/spring-boot-aws-lambda 基本相同的方法 - 只需复制代码和...


“Eureka-Server”在运行“Spring Cloud Config Server”时看不到其属性

在“Eureka-Server”中,“application.properties”文件包含以下属性: spring.config.import=configserver:http://localhost:8888 spring.application.name=eserver ...



spring webclient负载均衡

以前从未使用过带负载平衡的Web客户端,我休闲了https://spring.io/guides/gs/spring-cloud-loadbalancer/并实现了Web客户端负载均衡器,现在我正在尝试使用helthchecks和


Spring Cloud Gateway 错误 403:禁止

上下文 我正在创建一个基于微服务的项目。我使用 Angular 15 作为前端,使用 Spring 3.0.2 作为后端。我使用 Keycloack 20.0.3 进行前端和后端身份验证。我...


Spring 云函数应用程序无法在 AWS Lamdba 上找到函数

我正在尝试在 AWS Lamdba 上部署我的 Spring Cloud 函数,但它看起来像我的函数 没有添加到函数目录中,所以我认为我的 bean 注册有问题,但不能


Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器,其中包含 debezium/zookeeper、debezium/kafka 和 debe...


机器上未出现 Kafka UI

我是 Kafka 和设置 Kafka UI 的新手,尽管我在最后的 docker 和 docker-compose 上设置了先决条件。 我最后有一个 3 节点 Kafka 集群设置。 下面是 docker-compose...


Kafka Java Consumer Client 是单线程的吗

我们正在开始使用 Kafka, 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...


使用kafka密钥的kafka s3连接器分区

如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢!


通过CMD获取启用SSL的Kafka中的最新偏移量

我一直在使用下面的CMD从打开纯文本端口的Kafka队列中获取最新的偏移量 kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 服务器:9092 --topic


Kafka Connect S3 Sink 添加元数据

我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前,输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......


即使部署在 kubernetes pod 上,kafka 主题仍然是不可变的吗?

我在 kubernetes pod 上部署了 kafka 主题和模式注册表,我尝试修改/更改 kafka 主题和模式注册表的清单文件,然后模式注册表的行为在


无法使用java sdk连接到kafka代理

我创建了一个只有一个分区且在本地主机上没有复制的 kafka 主题,通过 kafka 控制台消费者和控制台生产者测试了消息传输,它工作正常,但在 tr...


使用 kafka-go 和循环平衡器时,数据始终进入分区 0

我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器,但数据始终进入分区 0。我尝试忽略所有消息的分区字段,但是...


我如何在本地运行假kafka主题(内存中)来测试kafka?

我尝试了一些依赖项,它期望安装docker或抛出运行时异常 我想在没有 Docker 设置的情况下在指定端口本地运行一个假 Kafka。 还有我的申请...


在 Google Cloud Build 期间在 Google Cloud SQL 上运行 node.js 数据库迁移

我想在 Cloud Build 过程中运行用 node.js 编写的数据库迁移。 目前,正在执行数据库迁移命令,但 Cloud Build 进程似乎正在执行...


NodeJS 我当前的 Google Cloud 函数名称是什么?

我想使用当前Google Cloud Function的名称来驱动一些逻辑。如何确定我的 Google Cloud Function 名称是什么?


从 Kafka Consumer 传递数据

我想从Kafka获取数据,此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新


Laravel9 response()->stream() 使用 fwrite() 得到空结果

我需要将大量数据导出为 CSV 字符串。 所以我尝试将 fopen('php://stdout', w) 与 fwrite($file, $data) 一起使用。 但 Laravel response()->stream() 不会返回任何内容,也不会出现错误。 我...


使用 Sequelize 将 Cloud Run Node 应用连接到 Cloud SQL

我正在尝试在 Google Cloud Run 上部署 Nodejs 应用程序,该应用程序应该使用 Sequelize ORM 连接到 Cloud SQL MySQL 数据库。 如果我使用云 sql ins 的本地代理,它工作正常...


依赖更新后构建kafka生产者失败

在我的 SpringBoot Java 项目中,我使用的是 kafka,特别是 ReactiveKafka。我正在更新依赖项,特别是这些依赖项: springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-


Kafka UI 无法连接到 Broker

我是容器化新手。我正在尝试设置我的本地环境,我的 java 应用程序想要连接到 Kafka。无法使用 Docker,所以决定使用 Podman。我有三个容器在同一个上运行


有没有办法将AWS Cloudwatch日志输入Kafka主题

我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布,其中...


Kafka:如何使用 Java API 从主题中删除记录?

我正在寻找一种从 Kafka 主题中删除(完全删除)已使用记录的方法。我知道有几种方法可以做到这一点,通过更改主题的保留时间或删除...


从 kafka 连接 API 获取任务 ID 以在日志中打印

我有一个kafka连接接收器代码,下面的json作为curl命令传递来注册任务。 如果有人知道如何获取我的连接的任务 ID,请告诉我。例如在


Google Cloud - 将用户信息从 IAP 传递到 Cloud Run

我有一个受身份感知代理 (IAP) 保护的内部 Cloud Run 服务。是否可以从应用程序内的 IAP 访问用户信息(例如正在使用该服务的电子邮件)? ...


Kafka 流使用标头过滤消息

我们正在尝试在我们的项目中使用 kafka 流来从一个主题读取数据并写入另一个主题,并且我们有一个使用 KafkaHeaders 作为过滤某些记录的机制的用例。 例如,...


如何在 Cloud Composer 2 的 KerbenetesPodOperator 中指定非默认计算类

我正在 Cloud Composer 2 中使用 KurbenetesPodOperator 创建 pod 来执行 Spark 作业。 默认情况下,当您使用


Kafka 总是有一个消费者消费一组中的主题消息

我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知,消息应该在这两个中随机消耗


具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端

我目前正在使用一个Java Kafka消费者,它手动提交偏移量(enable.auto.commit = false),我发现即使我生成了多个实例,我发现这样的设置也是如此


“无法访问数据库服务器”尝试将 Google Cloud SQL 连接到 PostgreSQL Prisma 数据库

我第一次尝试在我的项目中使用 PostgreSQL 数据库和 Prisma。但是,我无法连接到我在 Google Cloud 上创建的 Cloud SQL 实例。当我运行 npx prisma db p...


安装node npm 不断出现错误消息

我正在安装这些 npm 软件包: npm 我表达 body-parser bcrypt cors dotenv gridfs-stream multer multer-gridfs-storage 头盔 morgan jsonwebtoken mongoose 但是,当...


是否可以在 Google Cloud Shell 中使用 Jupyter Notebook?

我尝试过的: 启动 Google Cloud shell 须藤 pip 安装 jupyter jupyter 笔记本 --generate-config 将以下内容添加到 ~/.jupyter/jupyter_notebook_config.py c.NotebookApp.ip = 'localhost' c.


Kafka 消费者在获取相关 ID 为 22 的元数据时出错:{FINSRVC_TOPIC_PROD=UNKNOWN_TOPIC_OR_PARTITION}

我的 springboot kafka 消费者微服务在我第一次在生产中部署并消费消息时工作正常。 我上周重新部署了微服务,做了一些小的更改,然后就可以了


带有 Cloud Run CORS 的 Google Api 网关

有没有办法在 Cloud Run 服务的 Google Api 网关配置中启用 Cors? 我在服务中启用了 Cors,但我总是得到 从源“http://


如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息?

我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息,消费完之后,ActiveMQ会自动删除消费的消息。仅未消耗


来自具有阻塞操作的迭代器的 Akka 源代码

Source.fromIterator 上的 Akka 文档 (https://doc.akka.io/docs/akka/current/stream/operators/Source/fromIterator.html) 说: 如果迭代器执行阻塞操作,请确保 r...


Kafka 保留设置 - 如果所有消费者组都消费了一个主题,则从队列中删除

假设我有一个kafka队列和一个名为TOPIC的主题,并且我有两个消费者组CONSUMER1和CONSUMER2。我在 TOPIC 中添加了 1000 条数据。 Consumer1 有消费者 800 条数据,CONSUMER2 有


在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业

我正在开发一个 Spark 项目,我需要在两个不同的集群上运行作业,两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡


AWS Amplify #current-cloud-backend 重复文件

在我的AWS amplify项目中,包含已签出环境资源的当前云状态的#current-cloud-backend文件夹继续添加重复文件,例如backend-config 2....


如何使用 KafkaTopical 访问 Confluence Cloud Schema Registry?

我使用 KafkaTopical UI (https://www.kafkatopical.com) 连接到 Confluence Cloud Schema Registry 时遇到错误。当我点击“测试架构”时,屏幕截图中不断出现超时错误


将 Spring Security 5 迁移到 Spring Security 6 HttpSecurity 问题

Spring Security 6 中以下代码应该替代什么? http .authorizeRequests() .requestMatchers("/hub/**").access("hasPermission('SOME_LAYER', '')")...


© www.soinside.com 2019 - 2024. All rights reserved.