使用mongoose将大型CSV文件流式传输到mongoDB数据库

问题描述 投票:0回答:1

寻找一种有效且快速的方法将大型(1000万行)的csv数据流式传输到mongoose数据库中。

出现的问题是处理流而不是导入,可以使用fs.createReadStream解决(虽然仍在学习如何使用它)以及如何处理使用mongoose将大量数据插入mongoDB因为使用insert重载mongoose / mongo请求可能会导致一些错误。

node.js mongoose filestream
1个回答
0
投票

在mongoose中有一个insertMany()方法。但这只允许你每次只插入10 000个文档。我的解决方案是你使用该方法异步循环并插入unll流完成..

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.