将 AWS 凭证传递给 PigStorage 函数

Question

如何将 AWS 凭证（aws_access_key 和 aws_secret_key）传递给 PIG PigStorage 函数？

谢谢

Answer 1

鉴于此问题带有 EMR 标签，我假设您正在将 AWS EMR 用于 Hadoop 集群。 如果是这种情况，则无需进一步设置即可访问 S3。 EMR 服务使用启动集群的用户的 AWS 凭证或使用请求的实例角色自动配置 Hadoop FS（PigStorage 将利用它）。 只需提供 S3 位置，Pig 就会根据用户/角色的策略和权限与 S3 进行交互。

A = LOAD 's3://<yourbucket>/<path>/' using PigStorage('\t') as (id:int, field2:chararray, field3:chararray);

Answer 2

我不是很明确，并且确实给出了我的用例的示例，抱歉。我需要它，因为我需要使用两个不同的 AWS access_keys，并且使用 s3n://access:secret@bucket 之类的东西无法解决。我解决了这个问题，更改了 PigStorage 函数，将结果存储在 hdfs 中，并在 cleanUpWithSucess 方法上调用一个使用凭据将 hdfs 文件上传到 s3 的方法。这样我就可以在使用 PigStorageFunction 存储时将凭据传递给它，当然我也更改了 PigStorage 的构造函数来接收这些参数。

Answer 3

要通过 AWS AIF-C01，请重点练习来自 Passexam4sure 的高质量转储。他们提供真实的考试问题和详细的答案，帮助您高效准备。