在Windows上运行Pyspark代码时出现Pycharm错误

问题描述 投票:0回答:1

WARN NativeCodeLoader:无法为您的平台加载本地hadoop库...在适当情况下使用内置java类使用Spark的默认log4j配置文件:org / apache / spark / log4j-defaults.properties将默认日志级别设置为“ WARN”。要调整日志记录级别,请使用sc.setLogLevel(newLevel)。对于SparkR,请使用setLogLevel(newLevel)。20/05/21 12:55:53 WARN Utils:服务'SparkUI'无法在端口4040上绑定。尝试端口4041。

windows pyspark pycharm
1个回答
0
投票

只是警告,您仍然可以运行pyspark代码。在pycharm中,您必须使用spark-submit来执行代码。要使用REPL时,请使用pyspark。

© www.soinside.com 2019 - 2024. All rights reserved.