Hadoop - `hdfs dfs -ls`与ls

问题描述 投票:-1回答:2

我使用ssh连接到工作中的Hadoop集群。似乎有两种不同的文件系统可供使用: - 一个本地(虽然它是远程的,因为我正在捣碎这台机器)。我可以使用cd ..导航文件系统并使用ls在那里显示文件。我也可以在这里安装一些程序。 - 一个非本地使用hadoop命令(hdfs dfs ...

我不明白这两个文件系统是如何协同工作的? hadoop集群的主节点的本地类型是否可以从中执行配置单元?

hadoop filesystems
2个回答
1
投票

:我可以执行配置单元的hadoop集群的主节点的本地类型吗?

由于Hive与Hadoop和HDFS完全分开安装,所以HIve似乎与提出的问题无关。无论你访问什么机器都需要Hive客户端才能工作,并且没有“主节点”,hive(虽然应该使用beeline)cli需要运行。对于大多数用户来说,HiveServer的JDBC驱动程序比终端会话更有用。或者说服贵公司将Hue安装为Hadoop和Hive访问的Web UI。

如果您浏览Hadoop / Hive安装页面并且可以收集服务器和端口的正确网络信息以建立与Hadoop环境的远程连接,则不一定需要SSH到任何服务器才能访问任何内容,但您的公司可能不会从安全角度来看,这样。此时,本地计算机的配置方式与调用它们的“跳转框”或“边缘节点”完全相同。

一个本地(虽然它是远程的,因为我正在捣碎这台机器)

对。不是Hadoop文件系统。您SSH的所有计算机都有本地硬盘驱动器。在将它们复制到HDFS之前,您需要SFTP / SCP文件。

一个不是本地使用hadoop命令(hdfs dfs ...)我不明白这两个文件系统如何一起工作?

如果您已经通过SSH连接到数据节点,Hadoop仍会将数据存储在本地文件系统中,但是,它不是整个文件,而是将它们分开称为块。 Hadoop使用许多机器和磁盘来创建分布式文件系统抽象,因此称为HDFS。

如果您的公司使用NAS或FTP文件服务器,这是一个类似的概念。您也可以使用正确的权限通过SSH连接其中一个,但是,在其本地磁盘上有一个专用位置,用于提供文件。


0
投票

hdfs dfs..在由Hadoop集群托管的分布式文件系统上执行命令。

它与您使用的服务器的本地文件系统完全无关(可以是任何具有Hadoop客户端库的服务器)。其实你甚至不需要ssh。您可以使用REST API https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#OPEN从桌面访问HDFS文件

你是指Hive客户端(参见https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-Beeline%E2%80%93NewCommandLineShell的所有选项)还是Hive Server?

© www.soinside.com 2019 - 2024. All rights reserved.