gnu-parallel 相关问题

GNU parallel是一个shell工具,用于使用一台或多台计算机并行执行作业。


SSH列表远程文件通过与Rsync Fails平行的枪支传递

此SHELL命令的性质是列出远程服务器文件,将它们管道并并行,然后将它们从远程服务器转到local主机,如下所示 ssh -o connecttimeout = 10 -i /hom...

回答 1 投票 0

并行:错误:$XDG_CACHE_HOME 只能包含 [-a-z0-9_+,.%:/= ]

我正在 CU 的超级计算集群 Alpine 上运行(或尝试运行)3DDNA,以根据长读和短读/接触数据(PacBio HIFI 和 Arima HIC)组装基因组。 3DDNA 使用 GNU 并行于

回答 1 投票 0

使用gnuparallel同时计算哈希值

我需要计算AWS S3中保存的一个非常大的文件的SHA256和SHA512哈希值。我需要阻塞处理,直到两个计算都完成并尝试使用 gnu parallel 来执行 t...

回答 1 投票 0

使用gnuparallel同时计算哈希值

我需要计算AWS S3中保存的一个非常大的文件的SHA256和SHA512哈希值。我需要阻塞处理,直到两个计算都完成并尝试使用 gnu parallel 来执行 t...

回答 1 投票 0

`-a` 与 `cat`ting

例如,当尝试一次处理 128 个字节的文件时,此方法有效: 猫输入.dat |并行 --pipe --recend '' -k --block-size 128 "" > 输出.dat 但这

回答 1 投票 0

使用 Pandoc 和 GNU Parallel 的 GitHub Action

我有以下 GitHub Action 可以使用 pandoc 转换为多个输出文件,其中 condition_check_files 在 main 上的推送上运行并返回添加和修改的 markdown 文件的名称:

回答 1 投票 0

将 GNU Parallel 与终端会话中定义的变量结合使用

我正在尝试使用 GNU Parallel 并行启动 Octave 脚本。一切正常,但我有一个关于导出变量的问题。在使用 GNU Parallel 之前我的工作流程是打开一个

回答 1 投票 0

了解 GNU Parallel --nonall 和 --onall 选项及其与 --delay 的行为

我试图了解 GNU Parallel 中 --nonall 和 --onall 选项的行为,以及它们如何与 --delay 选项交互。我遇到过一些行为并不像

回答 1 投票 0

GNU Parallel 中的并发输出问题:尽管使用 --line-buffer,行仍被合并或截断

我有一个使用 awk 处理二级结构数据并将结果附加到最终输出文件的函数。即使我在 GNU Parallel 中使用 --line-buffer,我仍然偶尔会得到...

回答 1 投票 0

GNU 并行停顿

我有一个用 Java 实现的算法,需要在大量基准实例上进行评估。为了使基准测试更有效,我使用 gnu parallel 来运行多个实例

回答 1 投票 0

如何递归检查所有文件,同时仅打印有错误的文件?

我想对当前(递归)目录中的所有文件进行 lint,同时仅打印出有错误的文件,并将变量分配给 1 以在 linting 完成后使用。 #!/bin/bash

回答 3 投票 0

相当于 Windows 的 GNU 并行

假设 myfile.txt 包含类似以下内容: cd 某个文件夹; pdflatex 一些文件 cd 某个文件夹; pdflatex 其他文件 windows 相当于什么: 猫 myfile.txt |并行--作业 200% (运行...

回答 1 投票 0

GNU 并行冻结

我有一个 bash 脚本,它对 TSV 文件的每一列应用不同的转换/映射。我正在尝试使用 GNU 并行进行并行化,但是我的代码挂起。 为简单起见,请考虑猫,

回答 1 投票 0

是否可以在 Google Colab 上的多个 TPU/GPU 上训练大型模型?

我正在致力于训练一个(小规模)大型语言模型,并希望在 Google Colab 上并行化训练。具体来说,我想知道是否可以利用多个 TPU 或 G...

回答 1 投票 0

shell 脚本中的 Gnu 并行化

我正在使用GNU并行同时运行3个脚本。这是我当前的 shell 脚本。 #!/bin/bash #SBATCH--数组=0-0 #SBATCH --节点=1 #SBATCH --ntasks-per-node=3 #SBATCH --每个任务的CPU数=1 #SB...

回答 1 投票 0

为什么 GNU 并行与导出的 Bash 函数一起使用且参数包含在 <> 中会导致“没有这样的文件或目录”?

场景: $ doit () { 回显 $1; };导出-f doit;做“” $ doit () { 回显 $1; };导出-f doit;平行 doit "" ::: 1 /usr/bin/bash: li...

回答 1 投票 0

GNU Parallel 不将字符串传递给 MATLAB

我正在尝试使用 GNU 并行在我们使用 SLURM 的超级计算机上使用 MATLAB 运行一组实验。我有一个文本文件,其中包含 4 个读入并传递的参数的组合...

回答 1 投票 0

gnu parallel 的 --onall 不能与 sshpass 一起使用吗?

我尝试在多个服务器上运行相同的命令。 每个服务器都是密码认证的,所以我导出了SSHPASS。 从选项 2 开始,添加了 --onall 并且命令开始失败。 并行-S 1/...

回答 1 投票 0

如何不向 GNU Parallel 传递任何参数?

如何不向 GNU Parallel 传递任何参数?基本上,我想循环一个命令: 并行 --dry-run command_to_repeat ::: `seq 100` 传递参数: 命令重复 1 命令重复 2

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.