复制级别是Hadoop 3集群

Question

我有hadoop 3.0集群（用于研究目的），1个名称节点和3个从属。在每个节点上，hdfs-site.xml如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
        <name>dfs.data.dir</name>
        <value>/opt/hadoop/dfs/data</value>
        <final>true</final>
  </property>
  <property>
        <name>dfs.name.dir</name>
        <value>/opt/hadoop/dfs/name</value>
        <final>true</final>
  </property>
  <property>
        <name>dfs.replication</name>
        <value>2</value>
  </property>
</configuration>

我想要2作为数据的复制级别。

但我在Cluster WebUI中看到了

enter image description here

Answer 1

我猜你在更改复制因子之前添加了那些文件？更改默认复制因子不会更改当前存储在群集上的任何文件。要更改它们，请运行：

hadoop dfs -setrep -w 2 -R /user/data

您添加的任何新文件都应自动存储，复制因子为2。