我需要同时处理和聚合来自多个文件的数据，每个文件大约有 200 万条记录。我不能使用批处理，因为一个文件的起始行有可能与另一个文件的最后一行匹配，所以我需要一次将所有这些文件保存在内存中。
我正在寻找使用 Java 或 python 或任何其他技术/工具解决此问题的最佳方法。