当我尝试更改GCP的错误日志记录时,我不明白为什么会出现以下错误。
写/etc/spark/conf/log4j.properties时出错:没有这样的文件或目录
我是GCP的新手,想学习如何使用它,但显然,无论我遵循哪个教程,我都会遇到错误。你能推荐一些好的教程吗?
以下是我尝试过的教程以及GCP文档中的更多内容。
Monte Carlo Methods using Google Cloud Dataproc and Apache Spark
任何帮助表示赞赏。
Dataproc没有默认的log4j.properties
,而是在/etc/spark/conf/log4j.properties.template
上有一个模板(示例)文件。您可以复制模板并进行修改:
sudo cp /etc/spark/conf/log4j.properties.template /etc/spark/conf/log4j.properties
例如,设置log4j.logger.org.apache.spark.repl.Main=DEBUG
。然后,再次运行spark-shell
。
请注意,如果您使用gcloud
(教程中的“后续步骤”)提交spark作业,则可以使用--driver-log-levels
设置日志级别:https://cloud.google.com/dataproc/docs/guides/driver-output#configuring_logging