Spark 执行器标准输出到 Kubernetes 标准输出

Question

我的 Spark 应用程序在 Spark Worker 中运行，将执行程序日志输出到特定文件路径：

"/worker_home_directory/app-xxxxxxxx/0/stdout"

我使用

log4j.properties

将日志从 stderr 重定向到 stdout，但 Kubernetes 似乎仍然无法将这些日志识别为主要 STDOUT 日志。

我的目标是使用

kubectl logs <spark_worker_pod>

并直接查看Spark执行器日志。然而，我目前的解决方案似乎不成熟。

如何将日志从

/worker_home_directory/app-xxxxxxxx/0/stdout

移动到 Kubernetes STDOUT？

Answer 1

您需要设置 log4j 属性以将日志发送到 STDOUT

大致如下：

log4j.rootLogger=ERROR, stdout

log4j.appender.STDOUT=org.apache.log4j.ConsoleAppender