amazon-s3 相关问题

Amazon S3(简单存储服务)是Amazon Web Services提供的在线对象存储服务。

Ansible CloudFormation模块无法查看S3对象

使用Ansible,我正在尝试将AWS CloudFormation模板上传到S3存储桶,然后使用生成的URL运行模板。 - name:create s3 bucket s3_bucket:name:'{{s3 ....

回答 1 投票 0

使用ssl将Cloudfront重定向到裸域[关闭]

请原谅我,如果之前有人询问过,有很多资源可以触及,但似乎没有什么适合我的特定(https)用例。我正在尝试重定向https://www.example.com ...

回答 2 投票 62

aws s3 cp - 仅适用于AdministratorAccess

我创建了一个新用户,我只想访问有限数量的资源,主要是从S3读取。出于某种原因,如果我提供的话,它只能读取s3桶...

回答 1 投票 0

回形针可以从S3铲斗中读取照片几何图形吗?

我想从S3容器中读取照片的几何图形。当它在我的本地时,这是有效的:def photo_geometry(style =:original)@geometry || = {} @geometry [style] || = Paperclip :: ...

回答 3 投票 12

从aws glue pyspark作业中的s3加载JSON

我正在尝试从glue pyspark脚本中的s3存储桶中检索JSON文件。我在aws glue中的作业中运行这个函数:def run(spark):s3_bucket_path ='s3:// bucket / data / ...

回答 1 投票 0

Heroku限制和wordpress

我有一个在heroku上托管的wordpress网站。我们使用“WP Offload S3 Lite”插件将我们的上传内容存储到S3,但是当我们上传一个大文件(大约超过1MB)时,它会抛出http错误...

回答 2 投票 0

s3 select和athena有什么区别

我试图了解aws athena服务和新发布的s3 select之间的区别(仍在预览中)。那两个用户的用途有何不同?它似乎都有助于选择......

回答 4 投票 13

如何使用aws-java-sdk从S3读取块的文件块

我试图从S3中读取大块文件而不切断任何并行处理的行。让我举例说明:S3上有1G大小的文件。我想把这个文件分成......

回答 4 投票 2

增量数据存储

我有时间序列每日数据,我运行模型。该模型在Spark中运行。我只想每天运行模型,并将结果附加到历史结果中。有一个'合并...很重要

回答 2 投票 0

是boto3客户端线程安全

对于S3线程安全,boto3是低级客户端吗?文档没有明确说明。 https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#client类似的问题是......

回答 1 投票 6

如何在Spark提交中使用s3a和Apache spark 2.2(hadoop 2.8)?

我正在尝试使用使用hadoop 2.8版本构建的spark 2.2.0从spark访问S3数据,我使用的是/jars/hadoop-aws-2.8.3.jar,/ jars / aws-java-sdk-s3- 1.10.6.jar和/ jars / aws-java-sdk -...

回答 1 投票 0

如何使用angular js将aws s3文件复制到同一个存储桶中的特定文件夹

有人知道Inside S3如何使用angularjs将文件从一个文件夹复制到同一个存储桶中的另一个文件夹。是否可以复制和移动存储桶中的文件?

回答 1 投票 1

从S3存储桶下载百万个文件

我在S3存储桶上的不同文件夹中有数百万个文件。文件非常小。我希望下载名为VER1的文件夹下的所有文件。文件夹VER1包含许多子文件夹,我......

回答 1 投票 0

AWS Glue输出文件名

我正在使用AWS来转换一些JSON文件。我已将文件添加到S3的Glue中。我设置的作业在ok中读取文件,作业成功运行,有一个文件添加到正确的S3 ...

回答 1 投票 6

是否可以禁止公共访问AWS文件,但只提供特定的Origin?

最近我使用AWS S3存储桶为我的Django项目提供静态文件。以下是我的设置:AWS_ACCESS_KEY_ID = config('AWS_ACCESS_KEY_ID')#AWS_SECRET_ACCESS_KEY = config('AWS_SECRET_ACCESS_KEY'...

回答 1 投票 0

来自EMR / Spark的S3写入速度非常慢

我正在写,看看是否有人知道如何加速从EMR中运行的Spark的S3写入时间?我的Spark Job需要4个多小时才能完成,但是群集只在第一个1.5 ...

回答 6 投票 21

Hive:执行错误选择并同时删除分区配置单元查询

我在同时运行两个查询时遇到错误。这是场景。我正在使用AWS EMR,下面是我的hive表架构。 CREATE TABLE India(OFFICE_NAME STRING,OFFICE_STATUS ......

回答 1 投票 1

导入com.amazonaws.services.s3.AmazonS3ClientBuilder无法解析

我试图从我的java应用程序访问我的s3存储桶,试图实现这个https://docs.aws.amazon.com/sdk-for-java/v1/developer-guide/examples-s3-buckets.html我'我添加了lib / aws -...

回答 2 投票 0

具有EC2实例角色的规范用户标识

我的规范用户ID被授予对S3存储桶的访问权限我启动了具有实例角色的EC2实例在实例上我可以列出存储桶内容但无法下载,它看起来像是...

回答 1 投票 0

SBT找不到hadoop-aws 3.1.1

build.sbt :( snippet)val hadoop_aws =“org.apache.hadoop”%“hadoop-aws”%“3.1.1”libraryDependencies + = hadoop_aws但是,当尝试更新时:> update [info]正在更新... [警告] ......

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.