我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器，其中包含 debezium/zookeeper、debezium/kafka 和 debe...
如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢！
我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前，输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......
使用 mongo-connector 版本 10.0.1 以下是我的配置 .config("spark.mongodb.write.connection.uri","mongodb://127.0.0.1:27017/") .config("spark.mongodb.write.database&
我是 Kafka 和设置 Kafka UI 的新手，尽管我在最后的 docker 和 docker-compose 上设置了先决条件。 我最后有一个 3 节点 Kafka 集群设置。 下面是 docker-compose...
如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期
我正在使用 Spring kafka 实现，我需要通过 REST API 启动和停止我的 kafka 消费者。为此，我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。
Kafka Java Consumer Client 是单线程的吗
我们正在开始使用 Kafka， 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...
我一直在使用下面的CMD从打开纯文本端口的Kafka队列中获取最新的偏移量 kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 服务器：9092 --topic
即使部署在 kubernetes pod 上，kafka 主题仍然是不可变的吗？
我在 kubernetes pod 上部署了 kafka 主题和模式注册表，我尝试修改/更改 kafka 主题和模式注册表的清单文件，然后模式注册表的行为在
我创建了一个只有一个分区且在本地主机上没有复制的 kafka 主题，通过 kafka 控制台消费者和控制台生产者测试了消息传输，它工作正常，但在 tr...
使用 kafka-go 和循环平衡器时，数据始终进入分区 0
我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器，但数据始终进入分区 0。我尝试忽略所有消息的分区字段，但是...
将 localstack 与 Spring Cloud AWS 2.3 一起使用时出现未知主机
“ResourceLoader”与 AWS S3 可以很好地处理这些属性： 云： 亚马逊： s3: 端点：s3.amazonaws.com <-- custom endpoint added in spring cloud aws 2.3 creden...
我如何在本地运行假kafka主题（内存中）来测试kafka？
我尝试了一些依赖项，它期望安装docker或抛出运行时异常 我想在没有 Docker 设置的情况下在指定端口本地运行一个假 Kafka。 还有我的申请...
我正在尝试下载 jdbc 连接器，但我无法从以下链接的选择选项中找到 mac os： https://dev.mysql.com/downloads/connector/j/ 哪里可以下载mysql连接器...
我有一个 React 应用程序部署到 S3 存储桶，还有另一个私有 S3 存储桶，我在同一 AWS 账户中存储图像和文档。目前，我使用 AWS 在前端显示图像......
我想从Kafka获取数据，此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新
AWS/S3/boto3：无法使用 presigned_url 将文件上传到存储桶
我有以下代码来获取 presigned_url： s3_client = boto3.client('s3', endpoint_url=AWS_ENDPOINT) presigned_url = s3_client.generate_presigned_url('get_object', ...
尝试使用 cloud-sql-connector 连接到 google cloud SQL 时出现错误“地址已在使用中”
问题 当尝试连接到我的云 SQL 数据库时，出现以下错误。 错误：监听 EADDRINUSE：地址已在使用中 /Users/josechavez/projectName/projectName/.s.PGSQL.543...
使用 preSignedUrl 上传/发布任意目录/文件到 S3
我正在尝试找出一种方法将文件发送到 S3 到具有任意“目录”和“文件名”的签名 URL。了解 S3 没有目录。 我能成功...
无法从S3存储桶下载文件。 （Langchain + s3）
我正在编写一个项目，使用s3来存储文件pdf，并使用langchain来连接和加载文件。 这是我的代码： const loader = new S3Loader({ bucket: process.env.BUCKET, key: filekey, // 示例: test/
我有一项工作，克隆存储库，然后 s3 将更改文件同步到 s3 存储桶。我只想同步已更改的文件。由于首先克隆了存储库，因此文件始终具有新的时间戳，因此 s3 同步
在我的 SpringBoot Java 项目中，我使用的是 kafka，特别是 ReactiveKafka。我正在更新依赖项，特别是这些依赖项： springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-
我正在将与 macOS 一起使用的外部硬盘驱动器的全部内容同步到 S3 存储桶。我想排除所有 macOS 隐藏文件。 我试过了： aws s3 同步 --dryrun --排除“^\.” --
我是容器化新手。我正在尝试设置我的本地环境，我的 java 应用程序想要连接到 Kafka。无法使用 Docker，所以决定使用 Podman。我有三个容器在同一个上运行
我们可以将 s3 位置传递到 Dag 文件夹到 Ec2 实例 Apache Airflow 吗
如何将 S3 位置传递到文件airflow.cfg 中的 dag 文件夹中。 目前我的airflow.cfg 看起来像：- dags_folder = /home/airflow/airflow/dags 我想使用 s3 位置的 dags。我该怎么办...
使用 Kinesis Firehose for JSON 重新格式化发送到 S3 的 CloudWatch 日志
我有一个工作设置，可以使用 Kinesis Firehose 将 CloudWatch 日志发送到 S3 存储桶。不幸的是，S3 中的文件不包含格式正确的 JSON。格式正确的 JSON 数组...
Spring Boot 3.1.X及以上版本的Kafka客户端连接问题
我最近将我的一项 Spring Boot 服务升级到 3.1.x，升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...
有没有办法将AWS Cloudwatch日志输入Kafka主题
我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布，其中...
我目前正在为一个项目开发一条路线，我需要从 S3 获取特定文件，读取其内容，并以二进制形式返回。我不能只使用 S3 文件 url，因为它是私有的，而且是
我正在寻找一种从 Kafka 主题中删除（完全删除）已使用记录的方法。我知道有几种方法可以做到这一点，通过更改主题的保留时间或删除...
从 kafka 连接 API 获取任务 ID 以在日志中打印
我有一个kafka连接接收器代码，下面的json作为curl命令传递来注册任务。 如果有人知道如何获取我的连接的任务 ID，请告诉我。例如在
我们正在尝试在我们的项目中使用 kafka 流来从一个主题读取数据并写入另一个主题，并且我们有一个使用 KafkaHeaders 作为过滤某些记录的机制的用例。 例如，...
我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知，消息应该在这两个中随机消耗
具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端
我目前正在使用一个Java Kafka消费者，它手动提交偏移量（enable.auto.commit = false），我发现即使我生成了多个实例，我发现这样的设置也是如此
我需要创建一个 CSV 并将其上传到 S3 存储桶。由于我正在动态创建文件，因此如果我可以在创建文件时将其直接写入 S3 存储桶而不是写入，那就更好了...
Kafka 消费者在获取相关 ID 为 22 的元数据时出错：{FINSRVC_TOPIC_PROD=UNKNOWN_TOPIC_OR_PARTITION}
我的 springboot kafka 消费者微服务在我第一次在生产中部署并消费消息时工作正常。 我上周重新部署了微服务，做了一些小的更改，然后就可以了
如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息？
我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息，消费完之后，ActiveMQ会自动删除消费的消息。仅未消耗
Kafka 保留设置 - 如果所有消费者组都消费了一个主题，则从队列中删除
假设我有一个kafka队列和一个名为TOPIC的主题，并且我有两个消费者组CONSUMER1和CONSUMER2。我在 TOPIC 中添加了 1000 条数据。 Consumer1 有消费者 800 条数据，CONSUMER2 有
在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业
我正在开发一个 Spark 项目，我需要在两个不同的集群上运行作业，两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡
我使用AWS DataSync从本地到Amazon S3，如果我删除本地数据，它会同步到Amazon S3吗？
AWS DataSync 是否会将已在本地删除的文件同步到 Amazon S3，以便该文件从两个位置都消失/删除？如果是的话我可以关闭这个功能吗？如何？ 我已阅读文档...
我有一个 iOS 客户端，可以使用匿名 Cognito Identity 和 Amplify SDK 成功将文件上传到 S3。 现在我尝试使用 CLI 模拟相同的上传，但失败了...
对 HEAD 和 GET 动词预签名 Amazon S3 url
我在 Amazon S3 上托管文件，我希望使用预签名 URL 进行访问。 对于简单的 GET 请求，这非常有效。然而，有些客户端首先执行 HEAD 请求...
Glue Dynamic Frame 比普通 Spark 慢得多
在下图中，我们使用三种不同配置运行相同的胶水作业，以了解如何写入 S3： 我们使用动态帧写入S3 我们用纯spark框架写信给S...
我正在尝试创建基本的 Lambda 函数来连接到 S3，然后执行其余的操作，但我在开始连接到 S3 时陷入困境，并在运行代码时遇到以下错误。 导入
CDK - 调用 PutBucketNotificationConfiguration 操作时发生错误（AccessDenied）：
我正在尝试使用 CDK 包添加 S3 事件通知。此 CDK 包在账户 A 中部署了一个 lambda 函数，每次将 S3 对象添加到账户 B 的“testfolder/”中时都会触发...
我正在运行 localstack 3.0.2 来使用 aws-java-sdk 作为使用 TestContainers 的集成测试来测试 Spring Boot 应用程序。我需要模拟查询大量 S3 对象，因此我生成一个 ...
制作Moviepy视频并使用python Flask将其保存到S3
问题陈述： 我在尝试使用 Python 中的 OpenAI API 从 YouTube 视频转录音频时遇到错误。我的目标是将音频保存到 S3 存储桶，然后传递...
我必须从外部源下载文件并将它们上传到S3存储桶中，到目前为止我发现适用于小文件，但似乎无法上传稍大的文件。 ...
使用单个 API 调用检查 aws s3 存储桶中是否存在 10 个对象
我正在使用 javascript AWS SDK 限制条件： 我不需要这 10 个对象的内容，只想知道它们是否存在 我想为 AWS S3 创建一个 API
如何避免在微前端（Single-spa）应用程序中对 importmap.js 进行缓存
2 个微前端和根应用程序通过 AWS Cloudfront 分发部署在 S3 存储桶中。 在我的 s3 存储桶中，文件存储在以下结构中 app1_281（反应微前端） app2_13 ...