SLURM对阵列作业来说很慢

Question

我有一个带有节点A，B，C和D的小型集群。每个节点有80GB RAM和32个CPU。我正在使用Slurm 17.11.7。

我执行了以下基准测试：

• 如果我直接在节点A上的终端上运行特定的Java命令，我会在2分钟内得到一个结果。
• 如果我使用“单个”数组作业（#SBATCH --array = 1-1）运行相同的命令，我会在2分钟内再次得到一个结果。
• 如果我只在节点A上运行与slurm上的数组作业相同的参数的相同命令，我会在8分钟内得到输出，也就是说，它慢了四倍。当然，我在这里同时运行31个具有不同参数的Java命令。

我已经尝试了SelectTypeParameters = CR_CPU_Memory和SelectTypeParameters = CR_Core，结果相同。

为什么我的阵列工作慢4倍？谢谢你的帮助！

我提交的数组作业的标题如下所示：

#!/bin/bash -l
#SBATCH --array=1-42
#SBATCH --job-name exp
#SBATCH --output logs/output_%A_%a.txt
#SBATCH --error logs/error_%A_%a.txt
#SBATCH --time=20:00
#SBATCH --mem=2048
#SBATCH --cpus-per-task=1
#SBATCH -w <NodeA>

slurm.conf文件如下所示：

ControlMachine=<NodeA>
ControlAddr=<IPNodeA>
MpiDefault=none
ProctrackType=proctrack/cgroup
ReturnToService=1
SlurmctldPidFile=/var/run/slurmctld.pid
SlurmdPidFile=/var/run/slurmd.pid
SlurmdSpoolDir=/var/spool/slurmd
SlurmUser=<test_user_123>
StateSaveLocation=/var/spool/slurmctld
SwitchType=switch/none
TaskPlugin=task/affinity

MaxJobCount=100000
MaxArraySize=15000

MinJobAge=300
# SCHEDULING
FastSchedule=1
SchedulerType=sched/backfill
SelectType=select/cons_res
SelectTypeParameters=CR_CPU_Memory

# LOGGING AND ACCOUNTING
AccountingStorageType=accounting_storage/none
ClusterName=Cluster
JobAcctGatherType=jobacct_gather/none
SlurmctldLogFile=/var/log/slurmctld.log
SlurmdLogFile=/var/log/slurmd.log

# COMPUTE NODES
#NodeName=NameA-D> State=UNKNOWN
NodeName=<NameA> NodeAddr=<IPNodeA> State=UNKNOWN CPUs=32 RealMemory=70363
NodeName=<NameB> NodeAddr=<IPNodeB> State=UNKNOWN CPUs=32 RealMemory=70363
NodeName=<NameC> NodeAddr=<IPNodeC> State=UNKNOWN CPUs=32 RealMemory=70363
NodeName=<NameD> NodeAddr=<IPNodeD> State=UNKNOWN CPUs=32 RealMemory=70363

PartitionName=debug Nodes=<NodeA-D> Default=YES MaxTime=INFINITE State=UP

Answer 1

如果运行时间不依赖于Java应用程序中参数的值，则有两种可能的解释：

您的cgroup配置不会限制您的作业，您的Java代码是多线程的。在这种情况下，如果只运行一个作业，或者直接在节点上运行，则单个任务会并行使用多个CPU。如果运行使节点饱和的作业数组，则每个任务只能使用一个CPU。

或者，您的节点配置了超线程。在这种情况下，如果只运行一个作业，或者直接在节点上运行，则单个任务可以使用完整的CPU。如果运行使节点饱和的作业阵列，则每个任务必须与另一个任务共享物理CPU。