amazon-s3 相关问题

Amazon S3(简单存储服务)是Amazon Web Services提供的在线对象存储服务。

当Spark从S3读取大文件时,可以将数据分发到不同的节点

假设我在S3上有一个大型数据文件,并希望将其加载到Spark集群以执行某些数据处理。当我使用sc.textFile(filepath)将文件加载到RDD时,我的集群中的每个节点都将...

回答 1 投票 0

使用rasterio和s3打开栅格

我在Amazon S3存储桶中存储栅格,并希望在我的Django docker容器中使用已安装的rasterio库打开特定对象。 AWS_ACCESS_KEY_ID和AWS_ACCESS_KEY_ID包含在...中

回答 1 投票 1

在我的S3存储桶上执行getObject操作时,如何触发Lambda函数?

我希望当另一个用户下载一个对象(比如他们通过我的应用程序上传的照片)时,向用户发送通知,以及更新DynamoDB条目。要做到这一点,我想......

回答 2 投票 0

Powershell:使用临时凭证访问AWS s3存储桶

我想首先创建临时凭证,然后为该用户承担角色。使用该临时凭证,我想访问s3存储桶以对它们执行某些操作。但是当我试着......

回答 1 投票 1

在S3中使用S3.Object()。put()在boto3 1.5.36中存储matplotlib图像

除了其他的东西我使用matplotlib绘制图,我想立即存储为S3对象。根据本和其他问题以及精细手册中提供的答案,......

回答 1 投票 2

如何在AWS中将Windows EC2实例复制到S3存储桶?

我无法找到显示如何将Windows实例复制到Amazon S3存储桶的查找文档。任何人都可以帮助我逐步做到这一点,并建议一些链接?

回答 1 投票 0

将图像从库上传到s3存储桶 - 创建文件对象?

AWS开发工具包需要File对象才能将数据上传到存储桶。我在创建transferUtility.upload所需的File对象时遇到了问题。我知道新文件(selectedImageUri.getPath())不起作用。 ...

回答 2 投票 1

如何更新现有Amazon S3文件的元数据?

我需要更新所有AmazonS3的云文件中的缓存控制头。但是,我无法弄清楚如何使用jclouds API。我正在使用apache jclouds插件。我得到了两个相关的答案:......

回答 3 投票 21

将s3文件作为mailx中的附件发送

我正在尝试使用mailx将S3文件作为附件发送,我有以下命令,可以在unix文件系统上发送普通文件,但如何在s3文件系统中使用它。 mailx -r $ {...

回答 1 投票 0

如何(批量)删除Amazon S3存储桶中几百个文件的列表

对于使用Amazon S3而言,我们刚刚开始将大量图像放在一个存储桶中。有人可能帮我理解删除a的最简单方法吗?

回答 1 投票 0

我可以使用AWS Glue将S3上的json数据转换为柱状格式并将其推送到Redshift吗?

我在S3上有嵌套JSON格式的数据,不断更新。我希望数据在转换后定期将此数据推送到Redshift集群。 AWS Glue可以帮助您配置...

回答 1 投票 0

页面刷新时出现Amazon AWS S3 404错误

当我尝试刷新我在Amazon AWS S3中部署的基于react的应用程序时,获得下面提到的错误。最近有人遇到过同样的问题吗? 404 Not Found Code:NoSuchKey消息:...

回答 1 投票 1

PHP上传到AWS S3会产生错误的目标路径

我想使用PHP将图像文件上传到我的S3存储。我使用这个帮助库:https://github.com/psugand/CodeIgniter-S3这是我的PHP代码:$ this-> s3-> putObject($ this-> s3 - > ...

回答 1 投票 1

加载csv文件s3 pyspark的随机样本

我正在尝试在s3中加载一个总共100万行数据的随机样本。有没有一种简单的方法可以将s3中的随机样本直接加载到pyspark数据帧中?在熊猫中,这个df = ...

回答 1 投票 1

Cloudfront CORS仅适用于子域

当我运行curl -I -s -X GET -H“来源:https://myapp.com”https://s3.amazonaws.com/myapp/时,使用Cloudfront + S3时我对CORS的行为非常奇怪assets / fontawesome-webfont.woff | grep ...

回答 1 投票 1

如何读取S3存储桶中每个项目的元数据?

我可以使用以下命令在S3存储桶中的每个项目上设置Cache-Control元数据(来自此答案):aws s3 cp s3:// mybucket s3:// mybucket --recursive --metadata-directive REPLACE \ --cache -...

回答 1 投票 3

AWS EMR - Hive在S3中创建新表会导致AmazonS3Exception:Bad Request

我有一个Hive脚本我在EMR中运行,它在S3中创建了一个分区的Parquet表,它还存储在S3中的~40GB gzip压缩文件中。该脚本运行良好约4小时但达到了一个点......

回答 1 投票 0

如何在laravel 5.5中的s3桶中上传图像

我试图将图像存储在S3存储桶中,我正在使用laravel 5.5我是新的,我被困在这里:我正在尝试的是:我的控制器:公共功能imageUploadPost(请求$请求){$ ...

回答 2 投票 1

如何将.zip数据导入neo4j?

我有一个压缩并存储在s3上的CSV文件,我打算直接从URL导入文件。我无法在Neo4j官方文档中找到任何方法。

回答 1 投票 0

AWS S3 - 在404 NoSuchKey中获取对象结果

我正在使用AWS SDK将图像放入我的S3实例。我能够通过以下方式成功完成此任务:AmazonS3 s3client = new AmazonS3Client(new ProfileCredentialsProvider()); s3client.putObject(新...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.