是否有更惯用的方式来执行以下操作:
cat some_lines.txt | while read x; do ./process_line.sh $x; done
即。将脚本应用于stdin的每一行?
我可以在脚本本身中包含while read x;
样板文件,但这也不是真正的感觉。
如果您正在运行外部进程并拥有GNU xargs
,请考虑:
xargs -n1 -d $'\n' ./process_line.sh <some_lines.txt
如果您不喜欢while read
循环的详细程度,并且正在运行shell函数(其中本身不需要fork()
,因此使用像xargs
或GNU parallel这样的外部工具会产生很大的性能成本),您可以避免它通过将循环包装在函数中:
for_each_line() {
local line
while IFS= read -r line; do
"$@" "$line" </dev/null
done
}
...可以运行:
process_line() {
echo "Processing line: $1"
}
for_each_line process_line <some_lines.txt
GNU Parallel是为这种任务而设计的 - 只要并行运行处理没有问题:
cat some_lines.txt | parallel ./process_line.sh {}
默认情况下,它将为每个cpu-core运行一个作业。这可以用--jobs
调整。
通过GNU Parallel运行它的开销大约为每个作业5毫秒。您获得的好处之一是可以保证不同作业的输出不会混杂在一起,因此您可以使用输出,就好像作业没有并行运行一样:
cat some_lines.txt | parallel ./process_line.sh {} | do_post_processing
GNU Parallel是一种通用的并行化程序,可以在同一台机器上或在您具有ssh访问权限的多台机器上轻松并行运行作业。
如果要在4个CPU上运行32个不同的作业,并行化的一种直接方法是在每个CPU上运行8个作业:
GNU Parallel会在完成后生成一个新进程 - 保持CPU处于活动状态,从而节省时间:
安装
出于安全原因,您应该使用包管理器安装GNU Parallel,但如果没有为您的发行版打包GNU Parallel,则可以进行个人安装,这不需要root访问权限。这样做可以在10秒内完成:
(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash
有关其他安装选项,请参阅http://git.savannah.gnu.org/cgit/parallel.git/tree/README
学到更多
查看更多示例:http://www.gnu.org/software/parallel/man.html
观看介绍视频:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
浏览教程:http://www.gnu.org/software/parallel/parallel_tutorial.html
注册电子邮件列表以获得支持:https://lists.gnu.org/mailman/listinfo/parallel