使用 sbatch 和 wget 下载多个文件

Question

我正在使用 wget 从保存在 .txt 中的 >100 个 URL 下载 GWAS 摘要统计数据，但我希望能够关闭我的会话，而不是使用

wget -i

，因为这将需要几个小时。我如何设置批处理脚本来执行此操作，以及解压缩 .gz 中的特定文件（并非全部）。

Answer 1

您可以使用屏幕进行活动。

请将所有网址存储在 urls.txt 文件中

创建屏幕会话

screen -S download_session

然后创建脚本如下：

wget -i urls.txt -P downloads/
find downloads/ -name "*.gz" -exec gunzip {} \;

要从会话中分离，您可以使用 Ctrl+A，然后使用 D

再次使用屏幕

screen -r download_session