无法使用适当的权限创建临时目录:/ mnt1 / s3

问题描述 投票:6回答:1

以下是其中一个容器的日志转储。我得到一个例外,说明由于某些权限而无法创建文件夹。我已经解决了不同的时间但仍然存在。

16/12/19 09:44:05 WARN ConfigurationUtils:无法使用适当的权限创建临时目录:/ mnt1 / s3

java.nio.file.AccessDeniedException:/ mnt1 at sun.nio.fs.UnixException.t ranslateToIOException(UnixException.java:84)at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)at sun.nio位于java的java.nio.file.Files.createDirectory(Files.java:674)的sun.nio.fs.UnixFileSystemProvider.createDirectory(UnixFileSystemProvider.java:384)的.fs.Uns.Exception.rethrowAsIOException(UnixException.java:107)。位于com.amazon.ws.emr.hadoop.fs.util.ConfigurationUtils.getTestedTempPaths的java.nio.file.Files.createDirectories(Files.java:767)中的nio.file.Files.createAndCheckIsDirectory(Files.java:781) ConfigurationUtils.java:224)com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem.initialize(S3NativeFileSystem.java:449)at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem。 java:111)org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2717)atg.apache.hadoop.fs.FileSystem.access $ 200(FileSystem.java:93)org.apache.hadoop。 fs.FileSystem $ Cache.getInterna l(FileSystem.java:2751)org.apache.hadoop.fs.FileSystem $ Cache.get(FileSystem.java:2733)org.apache.hadoop.fs.FileSystem.get(FileSystem.java:377)at org位于org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat)的org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:230)中的.apache.hadoop.fs.Path.getFileSystem(Path.java:295)的.java:201)

amazon-web-services apache-spark amazon-s3 amazon-emr
1个回答
1
投票

您应该为主节点和任务/核心节点使用相同的实例类型

见:https://forums.aws.amazon.com/thread.jspa?threadID=57967

© www.soinside.com 2019 - 2024. All rights reserved.