如何删除禁止的。 我有HDP Hortonworks 2.5.3群集,纱线中的MapReduce作业因错误而失败: java.io.ioexception:DistCP失败:Job Job_1498784032636_0015 失败的: 申请

问题描述 投票:0回答:2
Http://asterdart0005.labs.teradata.com:8088/cluster/app/application_1498784032636_0015

然后单击每次尝试日志的链接。诊断:应用 Application_1498784032636_0015初始化失败(ExitCode = 255) 使用输出:main:命令提供0主:以用户为HDFS MAIM运行 :请求的纱线用户是HDFS请求的用户HDFS被禁止

我搜索过搜索,看来HDFS用户是被禁止使用的用户,根据file /etc/hadoop/conf/container-executor.cfg中每个节点上的配置,这是文件的内容:

yarn.nodemanager.local-dirs=/hadoop/yarn/local yarn.nodemanager.log-dirs=/hadoop/yarn/log yarn.nodemanager.linux-container-executor.group=hadoop banned.users=hdfs,yarn,mapred,bin min.user.id=500

I已在所有节点(Namenode,Edge和Data节点)中修改了该文件,如下:

yarn.nodemanager.local-dirs=/hadoop/yarn/local yarn.nodemanager.log-dirs=/hadoop/yarn/log yarn.nodemanager.linux-container-executor.group=hadoop #banned.users=hdfs,yarn,mapred,bin min.user.id=500

并重新启动HDFS,YARN和MAPREDUCE2通过Ambari重新启动我的工作后,我的工作失败了,并检查了/etc/hadoop/conf/container-executor.cfg内容,看起来它重置为初始阶段:

yarn.nodemanager.local-dirs=/hadoop/yarn/local yarn.nodemanager.log-dirs=/hadoop/yarn/log yarn.nodemanager.linux-container-executor.group=hadoop banned.users=hdfs,yarn,mapred,bin min.user.id=500

任何想法,在这里有什么解决方案,将用户从被禁止的用户列表中删除?
	

要注意的第一件事是,您无法评论

banned_users
行,而是将正确的用户设置为“值”列表的值。 (即,如果您不想禁止用户
banned_users

,则将

hdfs
mapreduce hdfs hadoop-yarn hadoop2 hortonworks-data-platform
2个回答
1
投票
banned.users=hdfs,yarn,mapred,bin

)。如果您要评论

banned.users=yarn,mapred,bin
列表,则无论如何默认情况下,将被禁止。 另一件事,您可以按照下面的步骤进行步骤以传播所有节点的更改。
转到Ambari服务器节点
修改
banned_users
配置被禁止的用户。
Restart Ambari服务器和所有Ambari代理

    

当配置从Ambari UI管理时,这是以下步骤。
from

Ambari-> Yarn-> configs-> adavcned configs->高级容器-Executor

默认值为
  1. hdfs, yarn and mapred

    
    

    删除
  2. /var/lib/ambari-server/resources/common-services/YARN/<version>/package/templates/container-executor.cfg.j2
  3. 用户和其他所需的用户。

    我更喜欢删除

    banned.users=hdfs,yarn,mapred,bin
hdfs

0
投票

以纱线服务重新启动,应修复值。


最新问题
© www.soinside.com 2019 - 2025. All rights reserved.