Django数据存储 - SQL还是别的什么?

问题描述 投票:1回答:1

我正在构建一个Django Web应用程序,它将基本上向用户提供静态数据。通过静态,我的意思是管理员将能够上传新的数据集,但用户不会创建数据条目。实际上,一旦数据被上传,它将在用户请求时是只读的。

鉴于这些是非常大的数据集(200k +行),我认为SQL将是存储数据的最佳方式 - 这避免了将大数据集读入内存(因为你必须使用pickle或json?)。这有使用Django模型访问数据的额外好处。

但是,我不确定执行此操作的最佳方法,或者是否有更好的SQL替代方法。我目前有一个管理页面,允许您上传.xlsx文件,然后将其解析并逐行添加为模型条目。它需要FOREVER(100K行30分钟以上)。也许我应该在Django之外创建一个全新的数据库,然后以某种方式导入它,但我找不到关于如何/应该如何完成的文档。任何想法将不胜感激!提前感谢任何智慧。

python sql django database
1个回答
1
投票

您可以尝试使用.csv文件格式而不是.xlsx。 Python有一些库,允许您使用.csv格式(逗号分隔值)轻松写入sql数据库。 This答案可以提供进一步的帮助。我希望你能找到你想要的东西并快乐编码!

© www.soinside.com 2019 - 2024. All rights reserved.