SeaweedFS 存储 SQLite 文件并访问它们

Question

我每天存储一个 SQLite 文件 - 每个文件在 200GB 到 400GB 之间。 目前，这些文件存储在有可用空间的多个服务器上。每个服务器都运行 NodeJS API 以根据需要从 SQLite 文件中读取。

我正在寻找像 SeaweedFS 这样的分布式文件系统来管理存储和存储文件。 但是，我不明白如何查询 SQLite 文件。一旦我知道文件的 URL 是什么（通过查询 SeaweedFS），有没有办法仍然使用我的 NodeJS API？ 我不想将整个文件拉下来来查询它。

我可以将文件存储在 SeaweedFS 中，但它在文件系统中显示为

.dat

文件和

.idx

文件。 我可以查询 SeaweedFS 来获取文件的实际 URL - 像这样

http://localhost:8080/3/01637037d6

如何从本地 NodeJS 脚本查询此文件？ 这可能吗？

Answer 1

SQLite 是一个基于文件系统的 DBMS。 无论您使用哪种操作系统或编程语言，除非在本地文件系统上可用，否则无法对 SQLite 文件执行 CRUD 操作。

如果您的设计目标是随时随机访问这些日常文件中的任何一个，那么就有一个严重的缺点。 如果文件小得多，那么这样的设计是可行的，但 200-400 GB 的文件使该方法不切实际。 您需要一个真正的 RDBMS（“远程”DBMS），例如 PostgreSQL、SQL Server、MySQL，或对象存储，例如 MongoDB。