spark中的yarn.nodemanager.log-dirs在哪里？

Question

我调查过：

• /etc/spark/conf 中的 log4j2.properties
• 纱线站点.xml
• yarn-env.sh（通过

  YARN_LOG_DIR

  它没有被设置。事实上，在运行作业时，我的执行器中没有环境变量

  YARN_LOG_DIR

  ）
• /etc/hadoop/conf 中的 log4j.properties

在哪里可以找到并修改

yarn.nodemanager.log-dirs

属性？

Answer 1

为了找到这一点，我们需要遍历Hadoop的一些源代码：

• yarn.nodemanager.log-dirs

  默认为

  ${yarn.log.dir}/userlogs

  。

• yarn.log.dir

  默认为

  $HADOOP_LOG_DIR

• $HADOOP_LOG_DIR

  默认为

  ${HADOOP_HOME}/logs

所以，看看

$HADOOP_HOME/logs/userlogs

，看看你是否在里面找到了东西！

如果您想编辑它，您可以执行以下任一操作：

• 编辑

  $HADOOP_HOME

• 编辑

  $HADOOP_LOG_DIR

• 将

  -Dyarn.log.dir=<your_chosen_value>

  添加到您的 Spark 应用程序
• 将

  -Dyarn.nodemanager.log-dirs=<your_chosen_value>

  添加到您的 Spark 应用程序