我有大的.txt文件,超过10GB我应该打开这个文件并制作简单的版本: - 删除重复的行 - 拆分此文件(如5x2gb文件)
我需要什么软件? Windows pref ...但如果不可能,Linux也可以很棒。谢谢!
EmEditor
在Windows上,您可以安装名为“EmEditor”的应用程序。
此应用程序可以打开大文件。它是一个许可的应用程序,但您可以使用它一个月的试用期。进行更改和卸载。
我遇到过这个问题,我无法编辑一个大的4GB .sql文件。这个工具编辑器是唯一可以完成工作的编辑器。
在Windows中不确定,但在Linux中,您可以使用grep,awk和sed的组合。尝试在SO中找到它们。您可以参考下面的查询。 Basic grep/sed/awk script to find duplicates。
至于拆分,你可以尝试使用How to split one text file into multiple *.txt files?
我建议使用Vim,因为它装满了Git bash
你退出Vim:q并且如果缓冲区改变你可以退出而不保存:q!
如果Vim不适合你,请查看this答案和this链接,也许这些链接中的编辑人员更适合你。
我会建议你使用010 editor。我编辑了40GB的文件。它就像一个魅力。