confluent-kafka-go 相关问题


使用 kafka-go 和循环平衡器时,数据始终进入分区 0

我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器,但数据始终进入分区 0。我尝试忽略所有消息的分区字段,但是...


Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器,其中包含 debezium/zookeeper、debezium/kafka 和 debe...


机器上未出现 Kafka UI

我是 Kafka 和设置 Kafka UI 的新手,尽管我在最后的 docker 和 docker-compose 上设置了先决条件。 我最后有一个 3 节点 Kafka 集群设置。 下面是 docker-compose...


如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期

我正在使用 Spring kafka 实现,我需要通过 REST API 启动和停止我的 kafka 消费者。为此,我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。


Kafka Java Consumer Client 是单线程的吗

我们正在开始使用 Kafka, 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...


使用kafka密钥的kafka s3连接器分区

如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢!


修复 Go 中的导入周期

所以我有一个正在尝试解决的导入周期。我有以下模式: 看法/ - 查看.go 行动/ - 行动.go - 注册.go 总体思路是在视图上执行操作...


Go 中何时/如何调用和使用 init()?

在Win 11 Pro机器上使用Go 1.21.4并为Go绑定GTK 3。 对 Go 中何时/如何调用和使用 init() 函数感到困惑。 简单示例代码: 包 GTKView 进口 ( “github...


通过CMD获取启用SSL的Kafka中的最新偏移量

我一直在使用下面的CMD从打开纯文本端口的Kafka队列中获取最新的偏移量 kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 服务器:9092 --topic


Kafka Connect S3 Sink 添加元数据

我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前,输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......


写入通道的随机结果(Go)

我有以下代码: 函数 writeToClosedBufferedChannel() { ch := make(chan int, 2) ch <- 10 ch <- 20 go func() { fmt.Println("test") ch <- ...


即使部署在 kubernetes pod 上,kafka 主题仍然是不可变的吗?

我在 kubernetes pod 上部署了 kafka 主题和模式注册表,我尝试修改/更改 kafka 主题和模式注册表的清单文件,然后模式注册表的行为在


无法使用java sdk连接到kafka代理

我创建了一个只有一个分区且在本地主机上没有复制的 kafka 主题,通过 kafka 控制台消费者和控制台生产者测试了消息传输,它工作正常,但在 tr...


我如何在本地运行假kafka主题(内存中)来测试kafka?

我尝试了一些依赖项,它期望安装docker或抛出运行时异常 我想在没有 Docker 设置的情况下在指定端口本地运行一个假 Kafka。 还有我的申请...


想要找到有效的方法来替换多个switch语句

同时(1){ 计算<< "Enter the number corresponding to your choice:" << "\n"; cout << "1 - Go North\n"; cout << "2 - Go East\n...


无法在 VSCode 中调试 Go - 找不到 GOROOT 目录:/snap/bin/go

我使用的是Ubuntu 20.04.3 LTS,VSCode 1.62.3,go 1.17.3 linux/amd64 当我在 VSCode 中启动调试器时,它会显示此警告 “dlv-dap”命令不可用。请选择“


从 Kafka Consumer 传递数据

我想从Kafka获取数据,此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新


GoLang 中何时/如何调用和使用 init()?

在Win 11 Pro机器上使用Go 1.21.4并为Go绑定GTK 3。 对 Go 中何时/如何调用和使用 init() 函数感到困惑。 简单示例代码: 包 GTKView 进口 ( “github...


Go 中存在集合吗? (就像Python一样)

有没有类似Python中Set的Go集合? 备择方案: 在 Go 中是否有一种简单的方法来实现 Sets? 有什么方法可以消除切片中的重复项吗?


依赖更新后构建kafka生产者失败

在我的 SpringBoot Java 项目中,我使用的是 kafka,特别是 ReactiveKafka。我正在更新依赖项,特别是这些依赖项: springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-


Golang go例行运行,但和我想象的不一样

所以我有这个简单的 go 例程代码 func jobX(wg *sync.WaitGroup) { 推迟 wg.Done() 对于我:= 0;我< 5; i++ { fmt.Println("routine X: ", i) if i == 2 { ...


在 CentOS 7 上将 Go 作为守护进程 Web 服务器运行

我正在尝试从 PHP 迁移到 Go,并计划完全放弃 nginx。但我不知道如何在后台运行 go http web 服务器作为守护进程,我也不知道如何自动...


Go 中负整数的模

我正在学习 Go,并且有 Python 背景。 最近,我偶然发现 %(modulo) 运算符的行为与 Python 中相应的运算符不同。完全相反...


如何禁用 Go src 包中的 VSCode 警告?

我刚刚开始我的 Go 之旅,想知道为什么 IDE 中会出现有关 Go 源代码的警告。 有没有简单的方法来禁用这些?为什么 VScode 甚至会报告它们? 我正在使用默认...


如何配置 Goland IDE *不*警告“<Symbol>在此包中重新声明”错误

我正在使用 Goland IDE 编写各种简单的实验性 Go 程序,以提高我对 Go 的理解并进行各种其他练习。 我有一个包含 N 个不同 Go 文件的目录,...


Kafka UI 无法连接到 Broker

我是容器化新手。我正在尝试设置我的本地环境,我的 java 应用程序想要连接到 Kafka。无法使用 Docker,所以决定使用 Podman。我有三个容器在同一个上运行


Spring Boot 3.1.X及以上版本的Kafka客户端连接问题

我最近将我的一项 Spring Boot 服务升级到 3.1.x,升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...


有没有办法将AWS Cloudwatch日志输入Kafka主题

我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布,其中...


Kafka:如何使用 Java API 从主题中删除记录?

我正在寻找一种从 Kafka 主题中删除(完全删除)已使用记录的方法。我知道有几种方法可以做到这一点,通过更改主题的保留时间或删除...


从 kafka 连接 API 获取任务 ID 以在日志中打印

我有一个kafka连接接收器代码,下面的json作为curl命令传递来注册任务。 如果有人知道如何获取我的连接的任务 ID,请告诉我。例如在


在 Go 中,SyscallConn() 什么时候对常规 *os.File 有用?

我正在阅读一些使用 SyscallConn() (在 *os.File 上定义的函数)的 Go 代码(来自 https://github.com/KarpelesLab/reflink): // reflinkInternal 执行实际的 reflink 操作,而不会...


Kafka 流使用标头过滤消息

我们正在尝试在我们的项目中使用 kafka 流来从一个主题读取数据并写入另一个主题,并且我们有一个使用 KafkaHeaders 作为过滤某些记录的机制的用例。 例如,...


使用 expo go 从资产文件夹中读取文件

尝试使用 React Native expo go 从资产文件夹中读取文件 从“expo-asset”导入{资产}; 从“expo-file-system”导入*作为文件系统; ... const getFiles = asy...


Kafka 总是有一个消费者消费一组中的主题消息

我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知,消息应该在这两个中随机消耗


具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端

我目前正在使用一个Java Kafka消费者,它手动提交偏移量(enable.auto.commit = false),我发现即使我生成了多个实例,我发现这样的设置也是如此


为什么 goGTK 小部件没有在 init() 函数中初始化? [已关闭]

我在 Windows 11 Pro 机器上使用 Go 1.21.4,并使用 GTK 3 绑定 Go。 简单示例代码: 包 GTKView 进口 ( “github.com/gotk3/gotk3/gtk” ) var mToolbar *gtk.Toolbar 变...


Kafka 消费者在获取相关 ID 为 22 的元数据时出错:{FINSRVC_TOPIC_PROD=UNKNOWN_TOPIC_OR_PARTITION}

我的 springboot kafka 消费者微服务在我第一次在生产中部署并消费消息时工作正常。 我上周重新部署了微服务,做了一些小的更改,然后就可以了


如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息?

我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息,消费完之后,ActiveMQ会自动删除消费的消息。仅未消耗


何时何地在 DolphinDB 中添加 go 语句?

go 语句将脚本分成两个块。第一个块中注册的变量只有在 DolphinDB 解析并执行第一个块后才能在第二个块中引用和解析。嗬...


Kafka 保留设置 - 如果所有消费者组都消费了一个主题,则从队列中删除

假设我有一个kafka队列和一个名为TOPIC的主题,并且我有两个消费者组CONSUMER1和CONSUMER2。我在 TOPIC 中添加了 1000 条数据。 Consumer1 有消费者 800 条数据,CONSUMER2 有


在 Windows 11 上使用 Go 和 gocv for OpenCV 无法找到标头 opencv.hpp,即使设置了 CGO_CXXFLAGS

运行go run时,没有发现。 但是当列出目录时,标题就在那里...... PS C:\Users\phili\SourceCode\goopencv> 设置 CGO_CPPFLAGS="-IC:/Users/phili/SourceCode/opencv/build/include&...


在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业

我正在开发一个 Spark 项目,我需要在两个不同的集群上运行作业,两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡


create-react-app的内容没有推送到github

我将 Go 和 React 代码推送到了 github。 Go代码已成功提交,但React代码未成功提交。 React 内容是由 create-react-app 创建的。 文章 ├ 应用程序接口 │ └ main.go └ 客户 └ 反应


Go错误:time.Time未实现driver.Valuer(缺少方法Value)

我正在开发一个 Go 项目,在该项目中,我使用 sqlboiler 从我使用 setup.sh 脚本创建的 SQLite3 数据库生成代码。我遇到了一个似乎无法解决的错误。错误


如何使用 Dio/Flutter(前端)和 Go(后端)向 API 发送正确的请求

我现在正在 Android Studio 中测试它。这是我尝试在 Flutter 前端中使用的 Go 代码: func 登录(c *gin.Context) { // 从请求正文中获取电子邮件和密码 var b...


react Native expo go 在 uvicorn https 后无法连接到本地主机

我正在编写一个带有 fastapi 后端的 React Native expo go 应用程序。 这是一个教育应用程序,所以它有图像、视频和 pdf 等。 React Native Image 组件未在 ios 模拟器上加载图像,我...


Python KafkaTimeoutError:等待未来超时

我正在使用 Kafka 将日志发送到主题。发送消息时,我总是收到此错误 消息:“测试日志” 参数:() --- 记录错误 --- 回溯(最近一次调用最后一次): 文件“...


在 Go 中迭代结构体的字段

基本上,(据我所知)迭代结构体字段值的唯一方法如下: 类型示例结构{ a_number uint32 a_string 字符串 } //... r := &Exa...


Apache Spark Structured Streaming 中 Spark UI 上的查询和阶段卡住了

我在 EMR 集群 (6.14) 上使用 Apache Spark Structured Streaming (3.1.2)。 Spark 结构化流将数据从 Apache Kafka 流式传输到 Delta Lake 表。当我打开 Spark UI 时,我看到以下内容


debezium 日期/时间字段值超出范围:0000-12-30T00:00:00Z

我们使用 Debezium 将数据同步到 在源表中我们有列timestamptz start_at,当值为0时start_at='0001-01-01 00:00:00.000000 +00:00',但是当我们检查kafka中的数据时,它是


© www.soinside.com 2019 - 2024. All rights reserved.