在 Ubuntu 系统下,可以通过设置相同的工作目录来实现相同路径下存在相同作业。

具体步骤如下:

  1. 打开 slurm 配置文件,通常位于 /etc/slurm-llnl/slurm.conf

  2. 找到以下行:

#JobSubmissionParameters=profile,project
  1. 在该行下面添加以下行:
JobSubmitPlugins=job_submit/cgroup
JobSubmitPlugins=job_submit/alps
JobSubmitPlugins=job_submit/none
  1. 保存文件并关闭。

  2. 在每个节点上创建相同的工作目录,例如:

mkdir /mnt/shared/workdir
  1. 在 Slurm 中提交作业时,指定工作目录,例如:
srun -n 4 -N 2 -w node1,node2 --chdir=/mnt/shared/workdir ./my_job
  1. 这样,相同的作业可以在不同的节点上运行,但它们都使用相同的工作目录,从而避免了冲突。

注意:如果要使用相同的工作目录,需要确保所有节点都可以访问该目录,否则作业将无法运行。

Ubuntu Slurm 多节点共享工作目录运行相同作业

原文地址: https://www.cveoy.top/t/topic/oYkD 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录