如何在非常大的 CSV 文件（超过 400 万条记录）上运行 SQL 代码，而无需打开它

Question

我有一个包含超过 400 万条记录的非常大的文件，我想对其运行 SQL 查询。但是，当我打开该文件时，它只会返回 100 万个联系人，而不会加载其余的。有没有办法让我在不打开文件的情况下运行查询，这样我就不会丢失任何记录？ PS 我使用的是 Macbook，所以某些功能和插件不适合我。

Answer 1

您可以使用 DuckDB 摄取数百万行 CSV 并在 MacBook 上运行 SQL 命令

这是加载文件的命令

CREATE TABLE steam AS SELECT * from read_csv_auto('bigfile.csv');

您甚至可以通过向 SQL 查询添加“WHERE”命令来导入/加载其中的一部分