带有 SLURM 的 Conda 环境

Question

我正在尝试在 SLURM 集群上的 conda 环境中执行 python 脚本。到目前为止，我在网上找到的任何建议都无法解决我的问题。我设置了 conda 环境并安装了所有必需的软件包。为了简单起见，假设我的 python 脚本仅包含行

import torch

。必要的软件包已安装在环境中（该脚本在我的本地计算机上运行顺利）。如果这很重要，我安装了 Miniconda。

我的 bash 文件在

#!/bin/sh

和几个

#SBATCH

命令之后包含以下行：

source /path/to/.bashrc
conda activate myenv

python3 /path/to/test.py

但是随后我收到错误消息，文件 .bashrc 不存在。

如果我删除这些行

source /path/to/.bashrc
conda activate myenv

并从激活的环境 myenv 中执行 bash 文件，我收到错误消息，无法找到模块 torch....

如有任何帮助，我们将不胜感激...

Answer 1

加载Conda模块

module purge
module load miniconda

# Activate Conda environment and run the Python script
source /path/to/.bashrc
conda activate myenv
python3 /path/to/test.py

确保将“your_partition”替换为您要使用的实际分区，并相应地更新 .bashrc 文件、Conda 环境和 Python 脚本的路径。

另外，请确保 source /path/to/.bashrc 行是必需的。有时，仅 Conda 激活就足够了。如果您仍然遇到问题，请考虑删除或修改该行。

记住使您的脚本可执行：

chmod +x your_script.sh

然后，将脚本提交到SLURM：

sbatch your_script.sh