gnu-parallel 相关问题

GNU parallel是一个shell工具，用于使用一台或多台计算机并行执行作业。

寻找AWK替代品以加快此命令的速度

我一直在使用AWK来执行此命令，但是它太慢了。必须使用aws s3 ls命令s5cmd ls s3：// bucket-name / * |来更快地处理此列表。 awk -v AWS_BUCKET =“ bucket-name”'{...

bash amazon-s3 awk aws-cli gnu-parallel

回答 1 投票 0

对许多目录使用并行执行bash脚本

如果我有一个bash脚本（chunks.sh）可以并行执行多个迷你脚本，我想知道如何正确执行chunks.sh，以便它可以对许多文件夹并行运行？我大约有1000 ...

bash gnu-parallel

回答 1 投票 0

如何与curl平行使用？

我如何使用gnu parallel使此过程更快？＃！/ bin / bash for（（c = 1; c <= 100; c ++））做curl -sS'https://example.com'\ --data'value ='$ c''/ dev / null echo $ c done

bash gnu-parallel gnome-terminal

回答 1 投票 0

匹配以Bash并行运行的函数的输出

我的Bash脚本大致如下：＃！/ bin / bash函数a {echo -n“ A正在运行...”;睡5; echo“ done（A）”}函数b {echo -n“ B正在运行...”;睡1; echo“ done（B）”}函数c {...

bash gnu-parallel

回答 1 投票 3

如何在Windows上将GNU Parallel构建为可执行文件

我尝试在Windows上将GNU Parallel构建为可执行文件。当我使用下面的代码构建它时：wget https://git.savannah.gnu.org/cgit/parallel.git/plain/10seconds_install bash 10seconds_install ...

windows unix parallel-processing gnu gnu-parallel

回答 1 投票 1

使用并行工具在PBS中运行一百万个列表

我的工作量巨大（几百万），包含列表，并且希望运行Java编写的工具来执行功能比较。该工具在真实的0m0.179s用户0m0.005s sys 0m0中完成计算。...

amazon-ec2 parallel-processing openmpi gnu-parallel pbs

回答 1 投票 1

如何正确运行find |与grep +转义字符平行吗？

我在一个文件夹中大约有1500个2GB文件，并希望基于正则表达式从其中提取行。我试过：找到。 -regex“文件名模式” -exec grep -P“ pattern1 \ t | pattern2 \ t | pattern3 \ t | ........ >>

regex grep gnu-parallel

回答 1 投票 0

如何将Inotify Shell脚本作为异步进程运行

我有一个inotify shell脚本，它监视目录，并在有新文件进入时执行某些命令。我需要将此inotify脚本放入并行进程中，以便执行...

bash shell xargs inotify gnu-parallel

回答 1 投票 0

GNU并行子进程（Postgres的真空）意外丧生

我像这样运行的同时，抽象出一些细节：generate_job_list |平行-j10 -q的bash -c“回波-n “运行{}”; dostuff {}”我已经注意到，有时孩子处理该...

postgresql gnu-parallel postgresql-10 sigkill

回答 1 投票 1

执行gnu parallel命令时出错

我正在尝试使用gnu parallel执行脚本test3.exp（如下所示）：---- seq 1 3 | parallel test3.exp data {} /但是每次我收到这个错误：---不能使用'defined（@array）'（也许你...

bash shell parallel-processing gnu-parallel

回答 2 投票 2

不打算转义的GNU并行转义字符

parallel --dry-run wget {1} ::::

bash shell gnu-parallel

回答 1 投票 3

GNU Parallel和GPU？

我有兴趣让GNU Parallel在GPU上运行一些数值计算任务。一般来说，这是我的初始方法：编写任务以使用OpenCL或其他一些GPU ......

gpu gnu-parallel

回答 1 投票 1

GNU parallel：id的并行文件

我想并行化脚本。我知道咬一口gnu-parallel，但也许它不适合我的问题。我有几个GFF输入文件（列由表格分隔），我......

parallel-processing gnu-parallel

回答 2 投票 1

R和GNU Parallel - 如何限制使用的核心数

（GNU Parallel新手）我的目标是在多个内核上运行具有不同参数的相同Rscript。我的第一个问题是让我的笔记本电脑工作（2个真核，4个虚拟），然后我会......

r anaconda gnu-parallel

回答 1 投票 1

GNU Parallel：如何将job id传递给command

假设我在从标准输入接收的项目数组上运行gnu parallel，并根据一些标准进行拆分：cat content | parallel -j 4 my_command如何访问作业号...

gnu-parallel

回答 1 投票 1

有没有办法调试GNU Parallel？

我有一个示例脚本，我试图运行：＃！/ bin / zsh echo“i，rt，fifo，depth，rate，burst”> sweep_srcq.csv parallel --bar --gnu -j4 --header：\ 'sem --id 0 echo {i}，{rt}，{fifo}，{...

gnu gnu-parallel

回答 1 投票 1

GNU Parallel：如何从gnu并行管道接收stdin，就像它来自文件一样？

假设我有以下命令，它运行如下：my_command -f file如何设置并行，以便管道内容被执行就好像它是一个管道？＃例如，在伪代码中：...

gnu-parallel

回答 1 投票 1

如何修复不正确的gnu并行子串提取

我试图在与gnu parallel混合的bash脚本中使用子字符串提取。但是下面的代码（从更复杂的情况简化）会产生错误的结果。＃！/ bin / bash ......

bash gnu-parallel

回答 1 投票 1

GNU Parallel不使用所有处理器

我使用GNU parallel来加速进程。但是，GNU parallel并不使用我机器上的所有内核。我想知道这里的限制因素是什么。命令：find data -type f |平行 - ...