我正在运行一个hadoop流式mapreduce作业,它总共有26895个map任务。但是,有一个处理某个输入的任务总是失败。所以我设置了 mapreduce.map.failures.maxpercent=1
并想跳过失败的任务,但工作还是没有成功。
Kind % Complete Num Tasks Pending Running Complete Killed Failed/Killed Task Attempts
map 100.00% 26895 0 0 26894 1 8 / 44
reduce 100.00% 1 0 0 0 1 0 / 1
我怎么做才能跳过这个问题?
有一个同样的配置可以使用.指定了 mapred.max.map.failures.percentes。 和 mapred.max.reduce.failures.percentes. 中的mapred-site.xml来指定失败阈值。这两个属性都被设置为0。
这些属性现在已经过时了,使用以下属性来实现这个目的。
mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent