Hadoop copyFromLocal 复制目录的问题

Question

我想将整个本地目录以及一些子目录和文件复制到 HDFS。 HDFS 已经包含根目录和一些带有文件的子目录。我只想从本地目录添加较新的文件。

Local directory /www/hitlogfetcher/logs/:
day=20--hour=00/files.....
  |-hour=01/files.....
  |-hour=02/files....

HDFS /hitlogfetcher-test/:
day==20--hour=00/files
   |-hour=01/

当我使用命令时： hadoop dfs -copyFromLocal /www/hitlogfetcher/logs/* /hitlogfetcher-test/ 我收到错误消息：

Target /hitlogfetcher-test/day=20 is a directory

• day=20 是一个包含一些子目录和文件的目录

所以我想从目录 hour=01 复制文件，然后复制目录 hour=02 及其文件。

是否可以使用hadoop shell命令或其他方式？

Answer 1

copyFromLocal命令默认会递归上传目录，所以你不需要“*”：

hadoop dfs -copyFromLocal /www/hitlogfetcher/logs/  /hitlogfetcher-test/
                                                  ^