WARN NativeCodeLoader:无法为您的平台加载本地hadoop库...在适当情况下使用内置java类使用Spark的默认log4j配置文件:org / apache / spark / log4j-defaults.properties将默认日志级别设置为“ WARN”。要调整日志记录级别,请使用sc.setLogLevel(newLevel)。对于SparkR,请使用setLogLevel(newLevel)。20/05/21 12:55:53 WARN Utils:服务'SparkUI'无法在端口4040上绑定。尝试端口4041。
只是警告,您仍然可以运行pyspark代码。在pycharm中,您必须使用spark-submit来执行代码。要使用REPL时,请使用pyspark。