可以设置hadoop blocksize 24 MB吗?

问题描述 投票:2回答:2

我只是想问一下你对HDFS块大小的看法。所以我将HDFS块大小设置为24 MB,它可以正常运行。我记得24 MB不是计算机上通常大小的指数(乘以2)。所以我想问你们所有人,你对24 MB的看法是什么?

谢谢大家....

hadoop size hdfs block megabyte
2个回答
1
投票

是。可以将HDFS块大小设置为24 MB。 Hadoop 1.x.x默认为64 MB,而2.x.x默认为128 MB。

我认为增加块大小。因为,块尺寸越大,在减速器阶段将使用更少的时间。事情会加快。但是,如果减小块大小,则在每个映射阶段花费的时间会减少,但是在减少阶段可能会有更多时间用完。从而增加了总时间。

从本地文件系统传输到HDFS时,可以使用以下命令更改块大小:

hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>

可以通过将hdfs-site.xml更改为下面的块来永久更改块大小:

<property> 
<name>dfs.block.size<name> 
<value>134217728<value> 
<description>Block size<description> 
<property>

0
投票

是的,可以在Hadoop环境中设置块大小。只需转到/usr/local/hadoop/conf/hdfs-site.xml然后更改块大小值参考:http://commandstech.com/blocksize-in-hadoop/

© www.soinside.com 2019 - 2024. All rights reserved.