HDFS 由于“状态备用时不支持操作类别 WRITE”而出现许多坏块 - 了解为什么 datanode 找不到 Active NameNode

Question

最近我想将集群从2.6.5升级到3.1.3，但失败了。所以我将版本回滚到旧版本。但是发生了一些奇怪的事情。我们集群的datanode无法向Active NameNode报告块的情况。所以datanode抛出这个异常 太多的块损坏了，但在升级之前我们的集群一切正常...... 我不知道为什么。 datanode一直抛出这个问题。并且NameNode Web UI显示“There are xxx Missing Block. The following files may be Corrupted”信息，但丢失块的数量仍在上升......真的很可怕

我怀疑HA NameNode..但我检查了namenode的日志，它显示 Ha集群没问题。但是datanode的报告仍然找不到哪个主机是活跃的

Answer 1

另一个异常显示“2024-03-25 11：01：03,337 WARN org.apache.hadoop.hdfs.server.datanode.DataNode：无法复制块BP-1203938771-192.168.0.181-1606981736566：blk_1348617286_2749170 34 因为块文件不存在，或不可访问”，我将到相应的节点执行“find / -name blk_1348617286_274917034*”，并且只找到有关该文件的元文件显示“datanodepath/current/finalized/subdir2/subdir4/blk_1348617286_274917034 .元” 实际上我们仍然可以找到该文件，但是元文件