我只是想问一下你对HDFS块大小的看法。所以我将HDFS块大小设置为24 MB,它可以正常运行。我记得24 MB不是计算机上通常大小的指数(乘以2)。所以我想问你们所有人,你对24 MB的看法是什么?
谢谢大家....
是。可以将HDFS块大小设置为24 MB。 Hadoop 1.x.x
默认为64 MB,而2.x.x
默认为128 MB。
我认为增加块大小。因为,块尺寸越大,在减速器阶段将使用更少的时间。事情会加快。但是,如果减小块大小,则在每个映射阶段花费的时间会减少,但是在减少阶段可能会有更多时间用完。从而增加了总时间。
从本地文件系统传输到HDFS时,可以使用以下命令更改块大小:
hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>
可以通过将hdfs-site.xml更改为下面的块来永久更改块大小:
<property>
<name>dfs.block.size<name>
<value>134217728<value>
<description>Block size<description>
<property>
是的,可以在Hadoop环境中设置块大小。只需转到/usr/local/hadoop/conf/hdfs-site.xml然后更改块大小值参考:http://commandstech.com/blocksize-in-hadoop/