我正在从Spark批量加载HBase,并通过HFileOutputFormat2写入HFiles。一切都好,直到大容量加载似乎挂在最后的几个文件上]
INFO org.apache.hadoop.hbase.tool.LoadIncrementalHFiles:
Split occurred while grouping HFiles,
retry attempt 632 with 2 files remaining
to group or split
有什么想法吗?不确定我的HFiles是否倾斜?太大了? (它们只有10兆字节,而我的hbase.region.max.filesize = 10GB)
我有同样的问题,能否请您分享此问题的解决方案。谢谢