我有以下 shell 脚本。问题是我想并行/并发运行事务，而无需等待一个请求完成即可转到下一个请求。例如，如果我发出 20 个请求，我希望它们同时执行。
for ((request=1;request<=20;request++))
do
for ((x=1;x<=20;x++))
do
time curl -X POST --header "http://localhost:5000/example"
done
done
有什么指南吗？
您可以使用
xargs-Pseq 1 200 | xargs -n1 -P10 curl "http://localhost:5000/example"
这将运行
curl使用
xargs -Pxargs -I % -P 8 curl -X POST --header "http://localhost:5000/example" \
< <(printf '%s\n' {1..400})
这将运行给定的
curl40082020 年更新：
Curl 现在可以并行获取多个网站：
curl --parallel --parallel-immediate --parallel-max 3 --config websites.txt
websites.txt 文件：
url = "website1.com"
url = "website2.com"
url = "website3.com"
这是对
@saeed's我遇到了一个问题，它向以下主机发出了不必要的请求
0.0.0.1, 0.0.0.2 .... 0.0.0.N
原因是命令
xargs-I所以我们将使用它，
... xargs -I '$' command ...
现在，只要找到
xargs$seq 1 200 | xargs -I $ -n1 -P10 curl "http://localhost:5000/example"
注意：如果您在命令中使用
$除了
@saeed'sNMfunction conc(){
cmd=("${@:3}")
seq 1 "$1" | xargs -n1 -P"$2" "${cmd[@]}"
}
$ conc N M cmd
$ conc 10 2 curl --location --request GET 'http://google.com/'
这将以两个最大并行度触发
10将此功能添加到
bash_profile.rc最后添加“等待”，并将其背景化。
for ((request=1;request<=20;request++))
do
for ((x=1;x<=20;x++))
do
time curl -X POST --header "http://localhost:5000/example" &
done
done
wait
它们都会输出到同一个标准输出，但您可以将时间结果（以及标准输出和标准错误）重定向到命名文件：
time curl -X POST --header "http://localhost:5000/example" > output.${x}.${request}.out 2>1 &
想分享我如何将并行 xargs 与 curl 结合使用的示例。
使用 xargs 的优点是您可以指定将使用多少个线程来并行卷曲，而不是使用带“&”的卷曲，这将同时安排所有卷曲，比如说 10000 个卷曲。
希望对smdy有帮助：
#!/bin/sh
url=/any-url
currentDate=$(date +%Y-%m-%d)
payload='{"field1":"value1", "field2":{},"timestamp":"'$currentDate'"}'
threadCount=10
cat $1 | \
xargs -P $threadCount -I {} curl -sw 'url= %{url_effective}, http_status_code = %{http_code},time_total = %{time_total} seconds \n' -H "Content-Type: application/json" -H "Accept: application/json" -X POST $url --max-time 60 -d $payload
.csv 文件每行有 1 个值，将插入到 json 负载中
根据 @isorylcyanide 提供的解决方案和 @Dario Seidl 的评论，我发现这是最好的响应，因为它同时处理curl和httpie。
# conc N M cmd - fire (N) commands at a max parallelism of (M) each
function conc(){
cmd=("${@:3}")
seq 1 "$1" | xargs -I'$XARGI' -P"$2" "${cmd[@]}"
}
例如：
conc 10 3 curl -L -X POST https://httpbin.org/post -H 'Authorization: Basic dXNlcjpwYXNz' -H 'Content-Type: application/json' -d '{"url":"http://google.com/","foo":"bar"}'
conc 10 3 http --ignore-stdin -F -a user:pass httpbin.org/post url=http://google.com/ foo=bar
要使用 cURL 发送多个请求，您只需使用此行
for i in $(seq 100); do $(curl 'http://192.168.0.1/' > /dev/null 2>&1 &) ; done ;