如何管理直播服务器中的6cr数据

Question

我已经上传了计数为 6cr 的数据，csv 文件的大小为 800mb，但是当我对该数据发起复杂查询时，我遇到了“服务器消失”的问题

我有特雷德

1.更新了内存限制、最大帖子大小、内存时间限制等

2. 我尝试使用本地计算机上传 mysql 工作台，他们也发生了同样的事情“服务器连接丢失”

如果有人知道任何替代方案请告诉我

Answer 1

一次处理 60000000 条记录肯定会产生性能问题，并且可能导致数据库崩溃。建议通过多次迭代一次处理数千个数据块。