上传大文件到网络服务器

Question

我必须将大量文件上传到 Nexus 存储库。这些文件加起来大约有 60GB。我现在正在做的事情如下：

1. 从 Jfrog 神器下载 ZIP 文件
2. 解压 ZIP 文件
3. 循环遍历每个文件并使用curl上传到nexus存储库

这一切都是在一个简单的 bash 脚本中完成的。 这有效，但需要很长时间。我可以用另一种更快的方式来做这件事吗？或者对于这个问题有更好的解决方案吗？我愿意接受所有建议。

Answer 1

您可以尝试在单个请求中上传所有文件（如果文件不是太多）：

curl -F file=@file1 -F file=@file2 $repository_url

这将消除发送多个 HTTP 请求的开销。但是，如果带宽是瓶颈，则无能为力，因为必须以某种方式将 60GB 的数据传输到远程服务器。