在我们公司,我们有一个应用程序每天生成大量文本文件(每天大约 30000 个文件,总计约 100 MB)。 大多数文件每天生成的都是相同的,但有些文件每天都会有所不同。 有关这些差异的信息应予以注释和存储。评论作者的信息也需要存储(这些文件通常由5-10人左右处理)
这个问题的明显解决方案是使用 git 存储库。我想把工作安排如下:
而且这种方法通常是有效的。但由于存储库规模巨大,并且与存储库的通信是通过网络完成的,因此速度非常慢。例如,
git status
可能需要 5-10 分钟才能执行。
我想到的另一个选择是为用户提供 ssh
dp 访问存储库计算机,这应该会加快速度。但这个选项对于用户来说太复杂了。
你会如何解决这个问题?
我非常感谢您提出的任何建议,谢谢。
使用git LFS: git LFS(大文件存储)是为处理大文件而设计的。通过在存储库外部存储大型二进制文件并仅在 Git 存储库中保留指针,您可以显着减小存储库大小并加快操作速度。