如何检查namenode返回哪个HDFS datanode ip到spark？

Question

如果我在 PySpark 中读取/写入数据帧并指定 HDFS 名称节点主机名和端口：

 df.write.parquet("hdfs://namenode:8020/test/go", mode="overwrite")

有什么方法可以调试该名称节点将哪些特定数据节点主机/端口返回到 Spark？

Answer 1

我只需要设置 Spark 日志级别即可进行调试。

spark.sparkContext.setLogLevel("DEBUG")