tar.gz 可以在 hdfs 上拆分吗？

Question

我有一个 tar.gz 文件（大小 4GB）。我想上传到hadoop集群上。该文件是否会分割为 128MB 的块。

Answer 1

它将被分割成 128MB 的块，因为 4GB 大于块大小。但hadoop仍然将其视为单个文件，并且不能以并行模式运行，因为gzip压缩不可分割。

您可以选择：

• 使用第三方附加库（https://github.com/nielsbasjes/splittablegzip），或者
• 使用可分割的压缩算法，例如：bzip、lzo 或 lz4