HDFS块大小默认为128 MB(来源:https://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)
Hive条带大小默认为250 MB(来源:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#LanguageManualORC-FileStructure)
根据我的理解,1条纹必须完全适合HDFS中的1个区块。
我在这里错过了什么吗?我的信息不正确吗?
你只是需要配置HDFS才能拥有250 MB块以适应条纹吗?
Orc文件格式在条带级别可拆分。这意味着不需要将一个条带大小放入一个块中。
无论格式如何,HDFS块大小都在文件级别。