HDFS默认块大小为128 MB,而Hive默认条带大小为250 MB

问题描述 投票:0回答:1

HDFS块大小默认为128 MB(来源:https://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

Hive条带大小默认为250 MB(来源:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#LanguageManualORC-FileStructure

根据我的理解,1条纹必须完全适合HDFS中的1个区块。

我在这里错过了什么吗?我的信息不正确吗?

你只是需要配置HDFS才能拥有250 MB块以适应条纹吗?

hadoop hive hdfs bigdata
1个回答
0
投票

Orc文件格式在条带级别可拆分。这意味着不需要将一个条带大小放入一个块中。

无论格式如何,HDFS块大小都在文件级别。

© www.soinside.com 2019 - 2024. All rights reserved.