尝试使用GCP进行蒙特卡罗方法时出错

问题描述 投票:0回答:1

当我尝试更改GCP的错误日志记录时,我不明白为什么会出现以下错误。

写/etc/spark/conf/log4j.properties时出错:没有这样的文件或目录

我是GCP的新手,想学习如何使用它,但显然,无论我遵循哪个教程,我都会遇到错误。你能推荐一些好的教程吗?

以下是我尝试过的教程以及GCP文档中的更多内容。

Monte Carlo Methods using Google Cloud Dataproc and Apache Spark

任何帮助表示赞赏。

apache-spark google-cloud-platform montecarlo google-cloud-dataproc
1个回答
1
投票

Dataproc没有默认的log4j.properties,而是在/etc/spark/conf/log4j.properties.template上有一个模板(示例)文件。您可以复制模板并进行修改:

sudo cp /etc/spark/conf/log4j.properties.template /etc/spark/conf/log4j.properties

例如,设置log4j.logger.org.apache.spark.repl.Main=DEBUG。然后,再次运行spark-shell

请注意,如果您使用gcloud(教程中的“后续步骤”)提交spark作业,则可以使用--driver-log-levels设置日志级别:https://cloud.google.com/dataproc/docs/guides/driver-output#configuring_logging

© www.soinside.com 2019 - 2024. All rights reserved.