从猪的txt文件中删除不均匀的空格

Question

我有一个包含不均匀空格的文本文件，我想使用pig将其存储为csv文件。我的文件格式是

2013 210      0  2878 -7543 4  29  20 116
2013 210     10  2875 -7538 4  32  20 116
2013 210     20  2872 -7533 4  29  20 116
2013 210     30  2870 -7527 4  29  20 115
2013 210     40  2867 -7522 4  30  20 115
2013 210     50  2864 -7516 4  29  20 115
2013 210     60  2861 -7511 4  29  20 115

Answer 1

如果您有不均匀的空格，请先将值作为单行读取，然后使用正则表达式挤压数据，然后使用STRSPLIT拆分单个空格分隔的数据。

text_data = load 'file.txt' as line;

squeezed_data = foreach text_data generate REPLACE(line, '\\s+', ' ');