我正在尝试在 hadoop HDFS 中查找与以下模式不匹配的文件
hdfs dfs -cat /*.gz
如何捕获所有不以 .gz 结尾的文件?
编辑:抱歉,但我需要在 Hadoop 中管理文件,显然 hdfs 附带的命令非常少。
编辑2:所有文件都在根目录中。
当你输入命令时
$ hdfs dfs -cat /*.gz
进入您的 shell(在之前的编辑中似乎是 bash),您的 shell 将尝试将 glob 模式
/*.gz
扩展为文件列表。你不想要这样。相反,您希望将字符串 /*.gz
按原样传递给 hdfs
,以便 it 可以检查该模式并对其采取行动。
为了防止您的 shell 尝试将
/*.gz
扩展为全局模式,您可以将其用单引号引起来:
$ hdfs dfs -cat '/*.gz'
这适用于任何
sh
兼容的 shell,包括 bash。