Yarn UI 显示没有活动节点，而它出现在 HDFS UI 中

Question

我已经在我的笔记本电脑中设置了 Hadoop，当我在 Hadoop 上提交作业时（通过 MapReduce 和 Tez），状态始终为 ACCEPTED，但进度始终停留在 0%，并且描述写的是“等待分配 AM 容器”之类的内容。

当我通过 YARN UI(localhost:8088) 检查节点时，它表明活动节点为 0

但是从 HDFS UI(localhost:50070) 来看，它显示有一个活动节点。

这是因为没有可用节点而导致作业卡住的主要原因吗？如果是这样的话我该怎么办？

Answer 1

在您的 YARN UI 中，它显示您有 zero vcore 和 zero 内存，因此由于缺乏计算资源，任何作业都无法运行。数据节点仅用于存储（在本例中为 HDFS），与应用程序卡住的原因无关。

要解决您的问题，您需要更新您的yarn-site.xml并提供内存和vcore属性的设置，如下所述：

您可以考虑使用Cloudera QuickStart VM或Hortonworks Sandbox（至少作为yarn-site.xml配置值的参考）。

Answer 2

您应该做的第一件事是检查 NodeManager 是否已启动并正在运行。如果没有，Resourcemanager UI 中将不会显示活动节点。

因此，在终端中运行：

jps

如果结果中没有看到 NodeManager 列出，则运行：

yarn --daemon start nodenamager