amazon-s3 相关问题

Amazon S3(简单存储服务)是Amazon Web Services提供的在线对象存储服务。

AWS SAM /云形成S3存储桶访问控制私有删除

问题 我有一些使用 AccessControl: Private 通过 AWS SAM/CloudFormation 设置的旧存储桶。 该属性已被弃用,我假设它将来会被删除,但我...

回答 1 投票 0

用于与外部存储提供商集成的 Java 库

我即将在我的网络应用程序中集成 Cloudify 来处理媒体存储。 我想知道是否已经存在一个 java 库来抽象数据访问/存储并可以处理不同的存储提供程序...

回答 1 投票 0

来自 S3 存储桶的图像未显示在服务器上

我在 S3 存储桶上遇到了一个奇怪的问题,我使用 S3 存储桶来存储应用程序的图像,并使用 lambda 来处理 API 函数,因此上传可以在本地正常工作,并且还使用 lambda,...

回答 2 投票 0

将 Kafka 消息复制到 S3 并返回的最有效方法是什么

我们目前正在考虑如何以最有效的方式(所需的存储和吞吐量)保存(即备份)和加载(即恢复)Kafka 主题中的所有消息。我的目标...

回答 1 投票 0

Cloudnative Gitlab 与 Gitlab 注册表配置混淆

我使用了 gitlab cloudnative helm 图表,使用 NGINX 入口在 AWS EKS 上自行托管 gitlab 和由 s3 支持的对象存储。对象存储正常工作,但我无法获取注册表对象...

回答 1 投票 0

如何拒绝 IAM 角色中具有 s3:fullAccess 的用户对 s3 存储桶/文件夹的所有访问

我的 IAM 用户的策略包含以下声明: { “行动”: [ “s3:*” ], "效果": "允许", ”

回答 1 投票 0

Laravel + AWS S3:cURL 错误 60

我正在尝试通过 Laravel 创建一个网页,该网页可以将文件(从图像开始,但希望在某个时候升级到 .doc/.pdf)上传到 AWS S3 存储桶。我已经关注了...

回答 3 投票 0

S3 预签名 URL - 内容描述中提供的文件名,用于生成预签名 URL,下载时出错

尝试使用预先签名的 Url 从 AWS S3 下载文件,并且我在 Content Desposition 中设置了文件名。 文件名带有逗号“,”。当我尝试使用...下载此文件时

回答 1 投票 0

生成块上的 Terragrunt 字符串插值

很难完成这项工作。 我正在尝试使用生成块添加 for_each 并根据变量 s3 中有多少条目多次运行该模块,但是哈哈...

回答 1 投票 0

在 Maven 项目中收到“software.amazon.awssdk.services.s3 不存在”错误时该怎么办?

我正在尝试使用 aws s3 sdk 制作一个 Create Bucket 程序,但此错误停止编译:java: package software.amazon.awssdk.services.s3 不存在 这是 pom.xml: 我正在尝试使用 aws s3 sdk 制作一个 Create Bucket 程序,但是此错误停止了编译:java: package software.amazon.awssdk.services.s3 does not exist 这是pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.example</groupId> <artifactId>S3Bucket</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>20</maven.compiler.source> <maven.compiler.target>20</maven.compiler.target> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <dependencyManagement> <dependencies> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>bom</artifactId> <version>2.15.0</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <dependencies> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3</artifactId> </dependency> </dependencies> </project> 这是 CreateBucketExample.java: package org.example; import software.amazon.awssdk.services.s3.S3Client; public class CreateBucketExample { public static void main(String[] args) { String bucketName = "bucket4example"; S3Client client = S3Client.builder().build(); CreateBucketRequest request = CreateBucketRequest.builder().bucket(bucketName).build(); client.createBucket(request); } } 这是我之前工作中的代码,但出现了类似的导入问题: package aws.example.s3; import com.amazonaws.regions.Regions; import com.amazonaws.services.s3.AmazonS3; import com.amazonaws.services.s3.AmazonS3ClientBuilder; import com.amazonaws.services.s3.model.AmazonS3Exception; import com.amazonaws.services.s3.model.Bucket; 如有任何建议,我们将不胜感激。 谢谢 您的 Amazon S3 代码看起来不错。当 POM 设置正确时,我在运行 S3 代码时从未遇到过问题。我使用 JDK 17 并且我的代码可以运行。 我的 Java 代码使用 Waiters,这是与您的代码的唯一区别。我认为你的问题是你的 POM。 Java代码 import software.amazon.awssdk.auth.credentials.ProfileCredentialsProvider; import software.amazon.awssdk.core.waiters.WaiterResponse; import software.amazon.awssdk.regions.Region; import software.amazon.awssdk.services.s3.S3Client; import software.amazon.awssdk.services.s3.model.CreateBucketRequest; import software.amazon.awssdk.services.s3.model.HeadBucketRequest; import software.amazon.awssdk.services.s3.model.HeadBucketResponse; import software.amazon.awssdk.services.s3.model.S3Exception; import software.amazon.awssdk.services.s3.waiters.S3Waiter; import java.net.URISyntaxException; /** * Before running this Java V2 code example, set up your development environment, including your credentials. * * For more information, see the following documentation topic: * * https://docs.aws.amazon.com/sdk-for-java/latest/developer-guide/get-started.html */ public class HelloS3 { public static void main(String[] args) throws URISyntaxException { String bucketName = "myjunebucket"; System.out.format("Creating a bucket named %s\n", bucketName); ProfileCredentialsProvider credentialsProvider = ProfileCredentialsProvider.create(); Region region = Region.US_EAST_1; S3Client s3 = S3Client.builder() .region(region) .credentialsProvider(credentialsProvider) .build(); createBucket (s3, bucketName); s3.close(); } public static void createBucket( S3Client s3Client, String bucketName) { try { S3Waiter s3Waiter = s3Client.waiter(); CreateBucketRequest bucketRequest = CreateBucketRequest.builder() .bucket(bucketName) .build(); s3Client.createBucket(bucketRequest); HeadBucketRequest bucketRequestWait = HeadBucketRequest.builder() .bucket(bucketName) .build(); // Wait until the bucket is created and print out the response. WaiterResponse<HeadBucketResponse> waiterResponse = s3Waiter.waitUntilBucketExists(bucketRequestWait); waiterResponse.matched().response().ifPresent(System.out::println); System.out.println(bucketName +" is ready"); } catch (S3Exception e) { System.err.println(e.awsErrorDetails().errorMessage()); System.exit(1); } } } POM <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.example</groupId> <artifactId>S3Test5</artifactId> <version>1.0-SNAPSHOT</version> <packaging>jar</packaging> <properties> <maven.compiler.source>17</maven.compiler.source> <maven.compiler.target>17</maven.compiler.target> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <version>2.22.1</version> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.1</version> <configuration> <source>${java.version}</source> <target>${java.version}</target> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-checkstyle-plugin</artifactId> <version>3.2.2</version> <configuration> <configLocation>checkstyle.xml</configLocation> <consoleOutput>true</consoleOutput> <failsOnError>true</failsOnError> <linkXRef>false</linkXRef> </configuration> <executions> <execution> <id>validate</id> <phase>validate</phase> <goals> <goal>check</goal> </goals> </execution> </executions> </plugin> </plugins> </build> <dependencyManagement> <dependencies> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>bom</artifactId> <version>2.20.45</version> <type>pom</type> <scope>import</scope> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-bom</artifactId> <version>2.20.0</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <dependencies> <dependency> <groupId>org.junit.jupiter</groupId> <artifactId>junit-jupiter-api</artifactId> <version>5.9.2</version> <scope>test</scope> </dependency> <dependency> <groupId>org.junit.jupiter</groupId> <artifactId>junit-jupiter-engine</artifactId> <version>5.9.2</version> <scope>test</scope> </dependency> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.14.2</version> </dependency> <dependency> <groupId>org.junit.platform</groupId> <artifactId>junit-platform-commons</artifactId> <version>1.9.2</version> </dependency> <dependency> <groupId>software.amazon.awssdk.crt</groupId> <artifactId>aws-crt</artifactId> <version>0.21.12</version> </dependency> <dependency> <groupId>org.junit.platform</groupId> <artifactId>junit-platform-launcher</artifactId> <version>1.9.2</version> <scope>test</scope> </dependency> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3</artifactId> </dependency> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>sso</artifactId> </dependency> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>ssooidc</artifactId> </dependency> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3-transfer-manager</artifactId> </dependency> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>kms</artifactId> </dependency> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3control</artifactId> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-slf4j2-impl</artifactId> </dependency> </dependencies> </project> 将依赖范围更改为提供的provided <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3</artifactId> <version>2.20.1</version> <scope>provided</scope> </dependency>

回答 2 投票 0

大型多部分文件直接上传到AWS S3

我有一个 go-chi (golang) Web 应用程序,托管在 nginx(反向代理 - proxy_pass 指令)后面,它接受文件上传,然后上传到 AWS S3。 带有文件的请求我...

回答 1 投票 0

AWS 前缀层次结构与请求速率限制:对 A/B/C 的请求是否对 A/B 和 A/ 计数?

我对 aws s3 前缀有些不太清楚,我希望有人可以帮助我。 我想知道当我有前缀时 A/B/C/ 和 A/B/D/ 任何反对...的要求

回答 1 投票 0

在 iOS 18 beta 版本中调用 API 时 S3 访问被拒绝

当我尝试使用 amplify 插件将图像发送到 aws 时,我在 iOS 设备 18 beta 上遇到此问题,而之前的版本工作正常: 存储访问拒绝异常 { 用户

回答 1 投票 0

在 iOS 18 beta 版本中调用 API 时 S3 访问被拒绝

当我尝试使用 amplify 插件将图像发送到 aws 时,我在 iOS 设备 18 beta 上遇到此问题,而之前的版本工作正常: 存储访问拒绝异常 { 用户

回答 1 投票 0

将 500 万行稀疏矩阵写入 s3 的问题

这是我的功能: def write_sparse_matrix_to_s3(矩阵、bucket_name、key、header=None): ”“” 将压缩稀疏行 (CSR) 格式的稀疏矩阵写入 S3 存储桶。 ...

回答 1 投票 0

当我将 WholeTextFiles() 与 pyspark 一起使用时,为什么 AWS 拒绝我的连接?

我用 sc.wholeTextFiles(",".join(fs), minPartitions=200) 在具有 96 个 CPU 的单个 dataproc 节点上从 S3 下载 6k XML 文件(每个文件 50MB)。当我的 minPartitions=200 AWS 拒绝我的

回答 1 投票 0

AWS Glue python 脚本创建多个特定大小的文件不起作用

我有下面的Python脚本,目前它在S3存储桶中生成几个大小为4MB的gz文件。默认情况下,这是 AWSglue 创建的。但现在我想创建特定文件的多个文件...

回答 1 投票 0

减少 Python zip 大小以与 AWS Lambda 一起使用

我正在关注这篇博客文章,使用 Docker 创建一个运行时环境,以便与 AWS Lambda 一起使用。我正在创建一个用于 Python 3.8 的层: docker run -v "$PWD":/var/task "lam...

回答 2 投票 0

动态更改 Rails 模型上的主动存储服务?

我正在使用 s3 的主动存储将文件附加到名为 Document 的模型。我需要添加对欧盟用户的支持,这些用户希望将其文档文件存储在欧盟的 s3 存储桶中。 我有我的圣...

回答 1 投票 0

在文件上传时从上游读取响应标头时上游过早关闭连接

我在 Nginx 服务器后面托管的 Node.js 应用程序上遇到文件上传问题。该设置涉及使用 Express-Formidable 包作为处理文件上传的中间件,这......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.