gnu-parallel 相关问题

GNU parallel是一个shell工具,用于使用一台或多台计算机并行执行作业。

使用 Pandoc 和 GNU Parallel 的 GitHub Action

我有以下 GitHub Action 可以使用 pandoc 转换为多个输出文件,其中 condition_check_files 在 main 上的推送上运行并返回添加和修改的 markdown 文件的名称:

回答 1 投票 0

将 GNU Parallel 与终端会话中定义的变量结合使用

我正在尝试使用 GNU Parallel 并行启动 Octave 脚本。一切正常,但我有一个关于导出变量的问题。在使用 GNU Parallel 之前我的工作流程是打开一个

回答 1 投票 0

了解 GNU Parallel --nonall 和 --onall 选项及其与 --delay 的行为

我试图了解 GNU Parallel 中 --nonall 和 --onall 选项的行为,以及它们如何与 --delay 选项交互。我遇到过一些行为并不像

回答 1 投票 0

GNU Parallel 中的并发输出问题:尽管使用 --line-buffer,行仍被合并或截断

我有一个使用 awk 处理二级结构数据并将结果附加到最终输出文件的函数。即使我在 GNU Parallel 中使用 --line-buffer,我仍然偶尔会得到...

回答 1 投票 0

GNU 并行停顿

我有一个用 Java 实现的算法,需要在大量基准实例上进行评估。为了使基准测试更有效,我使用 gnu parallel 来运行多个实例

回答 1 投票 0

如何递归检查所有文件,同时仅打印有错误的文件?

我想对当前(递归)目录中的所有文件进行 lint,同时仅打印出有错误的文件,并将变量分配给 1 以在 linting 完成后使用。 #!/bin/bash

回答 3 投票 0

相当于 Windows 的 GNU 并行

假设 myfile.txt 包含类似以下内容: cd 某个文件夹; pdflatex 一些文件 cd 某个文件夹; pdflatex 其他文件 windows 相当于什么: 猫 myfile.txt |并行--作业 200% (运行...

回答 1 投票 0

GNU 并行冻结

我有一个 bash 脚本,它对 TSV 文件的每一列应用不同的转换/映射。我正在尝试使用 GNU 并行进行并行化,但是我的代码挂起。 为简单起见,请考虑猫,

回答 1 投票 0

是否可以在 Google Colab 上的多个 TPU/GPU 上训练大型模型?

我正在致力于训练一个(小规模)大型语言模型,并希望在 Google Colab 上并行化训练。具体来说,我想知道是否可以利用多个 TPU 或 G...

回答 1 投票 0

shell 脚本中的 Gnu 并行化

我正在使用GNU并行同时运行3个脚本。这是我当前的 shell 脚本。 #!/bin/bash #SBATCH--数组=0-0 #SBATCH --节点=1 #SBATCH --ntasks-per-node=3 #SBATCH --每个任务的CPU数=1 #SB...

回答 1 投票 0

为什么 GNU 并行与导出的 Bash 函数一起使用且参数包含在 <> 中会导致“没有这样的文件或目录”?

场景: $ doit () { 回显 $1; };导出-f doit;做“” $ doit () { 回显 $1; };导出-f doit;平行 doit "" ::: 1 /usr/bin/bash: li...

回答 1 投票 0

GNU Parallel 不将字符串传递给 MATLAB

我正在尝试使用 GNU 并行在我们使用 SLURM 的超级计算机上使用 MATLAB 运行一组实验。我有一个文本文件,其中包含 4 个读入并传递的参数的组合...

回答 1 投票 0

gnu parallel 的 --onall 不能与 sshpass 一起使用吗?

我尝试在多个服务器上运行相同的命令。 每个服务器都是密码认证的,所以我导出了SSHPASS。 从选项 2 开始,添加了 --onall 并且命令开始失败。 并行-S 1/...

回答 1 投票 0

如何不向 GNU Parallel 传递任何参数?

如何不向 GNU Parallel 传递任何参数?基本上,我想循环一个命令: 并行 --dry-run command_to_repeat ::: `seq 100` 传递参数: 命令重复 1 命令重复 2

回答 1 投票 0

如何使用gnu并行使用sshpass在多个服务器上运行相同的命令?

到目前为止,我找到了一个令人满意的解决方案,但想知道是否有一种方法可以使用更多并行的设计选项。 我正在运行并行版本 20240422。 我读过 man parallel 和 htt...

回答 1 投票 0

使用 SLURM 脚本在 GNU Parallel 中不显示进度条

我是 GNU Parallel 的新手,正在尝试运行一些模拟。我有一个 bash 脚本,正在通过 SLURM 提交到集群。下面给出了脚本。本质上,并行调用一个函数...

回答 2 投票 0

gnu 并行的等待行为在管道中如何工作?

我正在 WSL 上使用 apt install parallel 中的parallel。 我希望了解解释的机制 第一个号码出现之前需要等待多长时间 每次将打印什么数字...

回答 1 投票 0

如何在 GNU 并行中为不同主机使用不同的 --workdir

我想在本地计算机和远程计算机上执行我的 script.sh 。但是,在本地计算机上,script.sh 文件位于 ~/dir1/ 内,而在远程计算机上,位于 /dir2 内。 我尝试的是:里面〜/

回答 1 投票 0

将输出写入标准输出以及 GNU 并行结果

我正在使用 GNU 并行并行运行多个 python 脚本,每个脚本可能需要几分钟才能完成。 脚本将其进度打印到标准输出。 示例脚本.py print('正在做

回答 1 投票 0

在 GNU Parallel 中使用自定义分隔符分隔参数

我想使用自定义分隔符来分隔 GNU 并行中的参数。 例如: $ 序列 19 30 |并行-n 4 --dry-run '我的命令{}' 我的命令 19 20 21 22 我的命令 23 24 25 26 我的-

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.