处理数据和处理数据的最快方法

Question

我有一个非常重要的项目，但我在选择处理数据的方法时遇到了问题。

• database：如果我使用数据库，我可以对它们进行排序并过滤它们。您是否认为以这种方式过滤数据会更快或我应该在python中编码？通过多个软件在同一时间向数据库请求数据或过滤或任何其他进程会产生任何问题吗？
• file：我目前正在使用文本文件来处理数据，我从中提取数据但是我有很多线程和多处理函数应该打开同一个文件。因此，有时会出现错误并说“错误：权限被拒绝”，这是合理的。

因此，我的软件需要进行大量的数据处理和过滤（使用某些条件），有时需要通过许多函数或其他python脚本同时打开和访问数据，在文件中它会出现错误（权限被拒绝） 。

那么如何在没有任何错误的情况下过滤和处理数据。我应该使用什么工具？我需要一种快速的方法来完成所有这些。

注意：每10秒，数据将被更新

Answer 1

如果要执行频繁的数据操作，建议在文件系统上使用数据库