slurm 相关问题

SLURM是一个开源资源管理器，专为各种规模的Linux集群而设计。

slurmd 错误：端口已在使用中，导致从站无法与主站 slurmctld 通信

我正在尝试设置一个由 3 个节点组成的 Slurm（版本 22.05.8）集群，这些节点具有以下主机名和本地 IP 地址：服务器1 - 10.36.17.152 服务器2 - 10.36.17.166 服务器3 - 10.36.17.132 我有

cluster-computing slurm

回答 1 投票 0

Slurm：使用多个节点的核心进行 Python 并行化

这个问题与这个问题有些相似， Slurm：使用多个节点的核心进行 R 并行化但这是针对Python的。我有一个可以在 PC 上使用多个内核的 python 程序，它确实...

python multithreading parallel-processing slurm hpc

回答 1 投票 0

Slurm --cpus-per-task 命令

大家好，我实际上使用的是一个名为 RepeatMasker 的软件，在这个管道中我可以使用命令 -pa 通过 slurm 运行并行作业这是关于此命令的文档：重复掩码-h -pa（拉尔...

bash cluster-computing slurm sbatch

回答 1 投票 0

如何在 Slurm 集群上的多个节点上运行 MPI Python 脚本？错误：警告：无法在 2 个节点上运行 1 个进程，将 nnodes 设置为 1

我正在 Slurm 集群上运行一个脚本，该脚本可以从并行处理中受益，因此我正在尝试实现 MPI。但是，它似乎不允许我在多个节点上运行进程。我不...

python parallel-processing mpi cluster-computing slurm

回答 1 投票 0

Slurm 命令查看节点 ID

我有一个程序在集群上因未知原因崩溃。我感觉这可能与特定节点的使用有关。有没有命令可以查看哪个...

jobs slurm

回答 1 投票 0

提交限制高于 MaxArraySize 的 slurm 阵列作业？

我需要提交一个 slurm 数组，该数组将运行相同的脚本 18000 次（对于独立基因），并且我想以一种不会给我的大学集群造成问题的方式来执行此操作。目前，

bash slurm

回答 2 投票 0

启动一个可更改节点数量的 SBATCH 脚本

我需要测试分布式算法的可扩展性，当在我选择的集群上运行测试时，我希望在单个脚本中动态设置节点数量。我想要什么...

cluster-computing benchmarking slurm hpc sbatch

回答 1 投票 0

如何在阵列作业中使用所有逻辑处理器？

我正在尝试在 slurm 中运行一个包含 2700 个任务的数组作业。我使用的计算机有 48 个物理核心和 96 个逻辑核心。然而，当我运行我的脚本时，每个任务都与 2 个 CPU 相关联，安装...

bash slurm

回答 1 投票 0

由于 cgroup.conf 解析错误，SLURM slurmd 服务无法在 Raspberry Pi 5 集群上启动

我有一个 Raspberry Pi 5 集群，设置了一个主节点和一个工作节点。我在主节点上成功安装了 SLURM，目前我正在尝试将 slurmd 守护进程配置为在

linux cluster-computing slurm raspberry-pi5 debian-bookworm

回答 1 投票 0

如何指定输入名称为 000 到 999 的 slurm 作业数组

我使用 split -a 3 命令生成了输入文件，以便将它们称为输入_000.txt 输入_001.txt ... 输入_999.txt 但是，当使用 sbatch --array=000-999, 000 自动提交时

jobs slurm

回答 1 投票 0

在 DeepSpeed 和 Hugging Face Transformer 中加载预训练模型和文件锁定的问题

我目前正在开发一个涉及 MobileVLM 模型的项目，使用 Hugging Face Transformers 库来加载预训练模型。我在 SLURM c 上运行脚本时遇到问题...

huggingface-transformers slurm

回答 1 投票 0

Slurmd 无法启动并出现以下错误： fatal: 无法确定此 slurmd 的 NodeName

我正在尝试在一堆 aws 实例上设置 slurm，但是每当我尝试启动头节点时，它都会出现以下错误： fatal：无法确定此 slurmd 的 NodeName 我已经设置了

slurm

回答 3 投票 0

如何优化 SLURM 脚本，以便为大型预训练网络和使用 PyTorch 的模型使用更多 GPU？

我们学校有一台带有多个 GPU 的 HPC，我正在尝试找出如何利用更多 GPU 来更快地运行我的代码，但是我在批量大小 128 时不断遇到此错误：追溯（最推荐...

deep-learning pytorch neural-network gpu slurm

回答 1 投票 0

不可能的CPU核心/线程配置

我正在尝试设置 slurmd 的测试实例，但似乎无法让它接受我的 CPU。这是 lscpu 的输出：架构：x86_64 CPU 操作模式：32 位、64 位一个...

slurm

回答 2 投票 0

Slurm - 如何自动将 --mail-user 设置为当前用户？

我有一个 SLURM 文件，例如 #!/bin/bash #SBATCH -n 1 # 两个核心 #SBATCH --mem=1G # 内存 #SBATCH --time=01:99:99 # 总运行时间限制 (HH:MM:SS) #SBATCH --邮件-

slurm

回答 2 投票 0

无法从 slurm REST API 提交 GRES 值

我一直在尝试通过 REST API 提交 slurm GRES 标志，但是，我找不到通过 REST API 执行相同操作的方法。我使用的是解析器版本0.0.40 这难道不是……

slurm

回答 1 投票 0

使R代码（dada2包）在HPC计算机上多线程运行（通过slurm提交）

我的 R 代码无法在 HPC 集群上并行运行，我不明白为什么。根据dada2文档，如果为multithreaded = #标志指定了一个整数，它将被传递给

r multithreading parallel-processing slurm hpc

回答 1 投票 0

使用带换行的替换符号进行slurm

我使用 --wrap 选项向 slurm 提交一个脚本，但我也希望它向日志文件添加运行时间。批\ -J 名义 \ --mem=16G \ -c 4 \ -t 24:00:00 \ -p

slurm

回答 1 投票 0

显示帐户所有成员的使用情况的 SLURM 命令是什么？

我尝试了“sacct -A ----allusers format=User,JobID,CPUTime,MaxRSS,Elapsed” 然而，它显示了该帐户的每个用户的每个作业的资源使用情况，而我...

bash cluster-computing slurm hpc

回答 1 投票 0

使用 slurm 阵列作业

我有一个作业脚本，它运行某个 python 脚本，并使用 argparsing 提供的参数。我知道当我想要运行这项工作时，我几乎总是想要提交不仅仅是一项工作，而是七项......

arrays jobs slurm sbatch

回答 1 投票 0

slurm 相关问题

最新问题