我是Hadoop的新手,并一直在网上寻找建立多节点集群的参考。在提到了许多不同的网站和官方文档(对于像我这样的新手来说太复杂了)之后,我一直在使用this blog作为指南。
但是,我只是无法理解配置文件中如何确定端口号?我的意思是我审阅了“Haoop In Action”,之前的链接和其他网站,每个人似乎都在为datanode,jobtracker等使用不同的值。
我从官方文档中引用了Common User的Web UI,发现了这个:
默认的Hadoop端口如下:
Daemon Default Port Configuration Parameter
HDFS Namenode 50070 dfs.http.address
Datanodes 50075 dfs.datanode.http.address
Secondarynamenode 50090 dfs.secondary.http.address
Backup/Checkpoint node? 50105 dfs.backup.http.address
MR Jobracker 50030 mapred.job.tracker.http.address
Tasktrackers 50060 mapred.task.tracker.http.address
但是,我遇到了fs.default.name等9000的值,甚至54310的值。这甚至是正确的吗?可以使用任何值吗?我最早需要帮助。谢谢 :)
默认配置属性在core-default,hdfs-default和mapred-default中指定。可以更改默认端口号,但必须在配置文件中更改相应的属性。
请查找服务及其各自的端口号:
NameNode:50070
DataNode:50075
Secondary NameNode:50070
职位追踪:50030
Secondary NameNode:50090
任务追踪:50030
备份/检查点节点:50105
Oozie:11000
纱线资源经理:8088
纱线节点管理器:8042
休:8888
HBase Region Server:60030
HBase Master:60010
Spark历史服务器:18088