以下是其中一个容器的日志转储。我得到一个例外,说明由于某些权限而无法创建文件夹。我已经解决了不同的时间但仍然存在。
16/12/19 09:44:05 WARN ConfigurationUtils:无法使用适当的权限创建临时目录:/ mnt1 / s3
java.nio.file.AccessDeniedException:/ mnt1 at sun.nio.fs.UnixException.t ranslateToIOException(UnixException.java:84)at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)at sun.nio位于java的java.nio.file.Files.createDirectory(Files.java:674)的sun.nio.fs.UnixFileSystemProvider.createDirectory(UnixFileSystemProvider.java:384)的.fs.Uns.Exception.rethrowAsIOException(UnixException.java:107)。位于com.amazon.ws.emr.hadoop.fs.util.ConfigurationUtils.getTestedTempPaths的java.nio.file.Files.createDirectories(Files.java:767)中的nio.file.Files.createAndCheckIsDirectory(Files.java:781) ConfigurationUtils.java:224)com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem.initialize(S3NativeFileSystem.java:449)at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem。 java:111)org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2717)atg.apache.hadoop.fs.FileSystem.access $ 200(FileSystem.java:93)org.apache.hadoop。 fs.FileSystem $ Cache.getInterna l(FileSystem.java:2751)org.apache.hadoop.fs.FileSystem $ Cache.get(FileSystem.java:2733)org.apache.hadoop.fs.FileSystem.get(FileSystem.java:377)at org位于org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat)的org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:230)中的.apache.hadoop.fs.Path.getFileSystem(Path.java:295)的.java:201)
您应该为主节点和任务/核心节点使用相同的实例类型