hadoop CopytoLocal命令在哪里被记录?

问题描述 投票:0回答:1

我想知道何时将文件从hadoop复制到本地,此时会记录此信息。我查看了hadoop审计日志和namenode日志,我没有看到这些信息被记录。任何帮助将不胜感激 。

hadoop logging copy
1个回答
0
投票

CopyToLocal可以将文件复制到本地文件系统。这个过程涉及很多类和方法,所以你最好在日志中看到hadoop-hadoop-namenode-Master.log,hadoop-hadoop-jobtracker-Master.log,hadoop-hadoop-datanode-Slave1.log。我会给自己一些关于写文件的理解。读取过程类似于写入文件的过程。

您可以在hadoop-hadoop-namenode-Master.log中搜索“cmd = mkdirs”,然后搜索“HDFS_WRITE”等等。这些关键词表示写文件的过程,即putCopyFromLocal。然后,您可以根据您的目的阅读这些日志。

注意:您最好分别在主节点和从节点中找到您的日志,上面的日志名称就在我的计算机中。

© www.soinside.com 2019 - 2024. All rights reserved.