无法通过 Hadoop Web 界面将已删除的文件移至垃圾箱

Question

我在 Hadoop-3.3.6 Web 界面中遇到了有关文件删除的问题。默认情况下，当我通过 Hadoop Web 界面删除文件时，它们将被永久删除并且不会进入垃圾箱。但是，当我在终端中使用

hadoop fs -rm

命令时，文件会正确移至垃圾箱。

我已检查我的

core-site.xml

配置并确保设置了以下属性：

<property>
    <name>fs.trash.interval</name>
    <value>3600</value>
</property>

尽管如此，通过 Web 界面删除的文件不会被发送到垃圾箱。

有人知道如何在 Hadoop Web 界面中启用垃圾箱功能吗？我可能缺少任何其他配置或注意事项吗？

谢谢您的帮助！

Answer 1

要启用 Hadoop 中的垃圾箱功能并使其在 Hadoop Web 界面 (HDFS UI) 中可见，您需要在 Hadoop 的配置文件中配置某些设置。这是分步指南：

1. 在

core-site.xml

中配置垃圾箱设置：

您需要在

core-site.xml

文件中启用并配置垃圾箱功能。

• 找到

  core-site.xml

  ： 这通常可以在

  $HADOOP_HOME/etc/hadoop/

  目录中找到。

• 添加/修改以下属性：

  <configuration>
    <!-- Enable Trash -->
    <property>
      <name>fs.trash.interval</name>
      <value>60</value> <!-- Trash retention period in minutes (1 hour in this case) -->
      <description>Number of minutes after which the Trash is emptied.</description>
    </property>
  
    <property>
      <name>fs.trash.checkpoint.interval</name>
      <value>15</value> <!-- Frequency of checkpoint creation in minutes -->
      <description>Interval in minutes between trash checkpointing.</description>
    </property>
  </configuration>
  

• fs.trash.interval

  ： 这定义了已删除的文件将在垃圾箱中保留多长时间。例如，

  60

  表示文件将在垃圾箱中保留 1 小时，然后才会被永久删除。

• fs.trash.checkpoint.interval

  ： 这定义了为垃圾箱创建检查点的频率，确保定期删除旧数据。

2. 重新启动 Hadoop 服务：

修改配置后，重新启动 Hadoop 服务以使更改生效。这包括重新启动 NameNode 和 DataNode 服务。

$ hadoop-daemon.sh stop namenode
$ hadoop-daemon.sh stop datanode
$ hadoop-daemon.sh start namenode
$ hadoop-daemon.sh start datanode

3. 在 Web 界面中访问垃圾箱:

启用后，您应该能够通过 HDFS Web 界面看到垃圾箱功能。删除的文件现在应该移动到

.Trash

目录，您可以从那里查看或管理它们。

其他注意事项：

• HDFS CLI 命令：您还可以使用 HDFS 命令行检查文件是否已移至垃圾箱：

  hadoop fs -rm /path/to/file
  

  文件应移至“废纸篓”目录，通常位于

  /user/<username>/.Trash/

  。

• 磁盘使用情况：使用“垃圾箱”功能时请注意磁盘空间，因为已删除的文件在被永久删除之前仍会占用空间。

验证：

要验证垃圾箱是否正常工作，请删除文件并检查它是否移至垃圾箱。然后，您可以通过 Hadoop Web UI 或命令行检查

.Trash

目录。