可以查看 JSON 格式的 Spark 历史服务器日志吗？

Question

有没有办法以 JSON 格式查看 Spark 历史服务器日志？我正在使用 REST API

curl http://localhost:8080/api/v1/applications

中的命令，但它始终以 HTML 形式返回数据。这非常难以解析，因为我需要日志中的精确指标。特别是，我正在寻找正在运行的作业和当前正在使用的执行程序的列表。

Answer 1

在具有 Spark UI 的同一端口上，您可以从

/api/v1/applications/<app-id>/1/logs

下载历史中应用程序的 json 日志