如何在python中有效地读写数据？

Question

我的应用程序需要定期处理数据。应用程序需要处理新数据，然后将其与旧数据合并。数据可能具有数十亿行，其中只有两列，第一列是行名，第二列是值。以下是示例：

a00001,12
a00002,2321
a00003,234

新数据可能具有新的行名或旧的行名。我要合并它们。因此，在每个处理过程中，我都需要读取旧的大数据文件并将其与新文件合并。然后，我将新数据写入新文件。

我发现最耗时的过程是读写数据。我已经尝试了几种数据I / O方式。

1. 原始阅读和编写文本。这是最耗时的方法
2. 但是，Python pickle软件包对于大型数据文件而言效率不高

还有其他任何数据I / O格式或包可以在python中有效地加载和写入大数据吗？

Answer 1

也许此article可以为您提供帮助。似乎father和parquet可能很有趣。