gnu-parallel 相关问题

GNU parallel是一个shell工具,用于使用一台或多台计算机并行执行作业。

如何在Windows 7中让GNU并行处理git bash?

通过遵循此答案,我能够在git-bash中全局安装GNU Parallel。但是,在运行并行教程中提到的示例命令时,并行-k echo ::: A B C> abc -...

回答 2 投票 1

GNU parallel-如何处理没有空格或换行的列分隔符?

我知道以下情况。 doit(){echo做$ 1睡眠2 echo做$ 1}} export -f doit parallel --colsep','-0 doit ::: 1,2,3 Output1-desired:做1做1。 ..

回答 2 投票 0

优化查找大压缩文件的脚本

我又来了!我想优化我的bash脚本,以减少每个循环所花费的时间。基本上,它的作用是:-从tsv获取信息-使用该信息进行查找...

回答 1 投票 0

调用shell函数,将并行的带有引用的文件名列表作为输入

使用Bash。我有一个导出的外壳函数,我想将其应用于许多文件。通常我会使用xargs,但是这样的语法(请参阅此处)太难看了,无法使用。 ...... | xargs -n 1 -P 10 -I {...

回答 2 投票 0

GNU Parallel使用远程执行不执行任何操作

我只需要一个提示。我正在尝试从GNU并行教程(GNU并行教程)运行以下命令:parallel -S $ SERVER1,$ SERVER2 echo :::在我替换了$ SERVERX的更多主机上运行...

回答 1 投票 0

GNU并行-将输出重定向到具有特定名称的文件

在bash中,我正在运行GnuPG来解密某些文件,我希望将输出重定向到具有相同名称但扩展名不同的文件。基本上,如果我的文件名为file1.sc.xz ....

回答 4 投票 3

暂存空间与主节点磁盘空间中的普通磁盘空间有何不同?

我是HPC的新手,我正在努力设置暂存空间。在正在使用的集群中,我需要使用SLURM工作负载管理器设置Scratch空间。我在与...

回答 1 投票 0

bash:无限期地使用并行命令运行脚本

我有一个日志记录系统,该系统每秒在Ubuntu Server中创建一个新的日志文件。我已经开发了一个名为“ processor.sh”的脚本,该脚本每秒运行一次以从新的...

回答 1 投票 0

GNU并行-如何理解“块大小”设置,并猜测将其设置为什么?

[基于“ large_file”文件大小,“ small_file”文件大小和我正在使用的计算机,如何在具有多个内核的单台计算机上使用GNU并行运行grep时如何设置块大小参数?]] >

回答 1 投票 1

如何与find -exec一起使用GNU并行?

我想解压缩多个文件,使用此答案,我找到了以下命令。查找-name'* .zip'-exec sh -c'unzip -d“ $ {1%。*}”“ $ 1”'_ {} \;如何通过上述命令使用GNU Parallel ...

回答 1 投票 0

将文件列表插入并行rsync

这个问题的答案似乎不适合我将rsync从本地计算机并行化到AWS实例。我已经进行了一次试运行,并获得了包含每个文件要使用的文件路径的文件列表...

回答 1 投票 0

在UNIX主机的所有公共IPv4和IPv6地址上运行`whois`和`host`

[在UNIX shell中,我想编写脚本以获取网关的所有公共IPv4和IPv6地址,将其打印回去,然后在所有找到的地址上运行whois和host。另外,因为我的连接...

回答 1 投票 0

使用ImageMagick和GNU Parallel合并每对图像

我正在尝试合并文件夹中的每对图像,并使用imagemagick将结果合并为PDF文件,并使用GNU Parallel并行处理。并行-N2转换\({1}-旋转30 \)...

回答 1 投票 0

并行运行多个python脚本

我有run_command_list.txt,每行禁止一个命令:time python3 train.py --dataroot ./datasets/maps --name maps_pix2pix --model pix2pix --direction AtoB --checkpoints_dir ...

回答 2 投票 0

寻找AWK替代品以加快此命令的速度

我一直在使用AWK来执行此命令,但是它太慢了。必须使用aws s3 ls命令s5cmd ls s3:// bucket-name / * |来更快地处理此列表。 awk -v AWS_BUCKET =“ bucket-name”'{...

回答 1 投票 0

对许多目录使用并行执行bash脚本

如果我有一个bash脚本(chunks.sh)可以并行执行多个迷你脚本,我想知道如何正确执行chunks.sh,以便它可以对许多文件夹并行运行?我大约有1000 ...

回答 1 投票 0

如何与curl平行使用?

我如何使用gnu parallel使此过程更快? #!/ bin / bash for((c = 1; c <= 100; c ++))做curl -sS'https://example.com'\ --data'value ='$ c''/ dev / null echo $ c done

回答 1 投票 0

匹配以Bash并行运行的函数的输出

我的Bash脚本大致如下:#!/ bin / bash函数a {echo -n“ A正在运行...”;睡5; echo“ done(A)”}函数b {echo -n“ B正在运行...”;睡1; echo“ done(B)”}函数c {...

回答 1 投票 3

如何在Windows上将GNU Parallel构建为可执行文件

我尝试在Windows上将GNU Parallel构建为可执行文件。当我使用下面的代码构建它时:wget https://git.savannah.gnu.org/cgit/parallel.git/plain/10seconds_install bash 10seconds_install ...

回答 1 投票 1

使用并行工具在PBS中运行一百万个列表

我的工作量巨大(几百万),包含列表,并且希望运行Java编写的工具来执行功能比较。该工具在真实的0m0.179s用户0m0.005s sys 0m0中完成计算。...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.