用户工具

站点工具

本页面的其他翻译:
  • zh

adf:pbsorlsf

集群、超算:通过PBS、LSF或SLURM脚本提交任务、设定任务核数

注意:

  • 每个集群脚本完全不同,以下范例仅供参考,请勿照抄。应该首先拿到自己集群的脚本,在该脚本基础上,参考下文进行修改,而非反过来。

一、LSF系统

1,脚本样本

将本地的*run文件上传到集群(如果是使用SSH Secure Shell,可以在Edit-Setting-File Transfer中ASCII extension中将某个不常用的后缀,例如html改为run,可以避免Windows/Linux文件格式不兼容的问题。),同时从管理员得到标准的pbs脚本或lsf脚本,在理解含义的前提下,类似如下地修改: LSF脚本范本:

#!/bin/sh
APP_NAME=intelg_small
NP=16
NP_PER_NODE=4
RUN="RAW"
source /home-gg/users/nscc1143/ADF/ams2020.101/amsbashrc.sh
export OMP_NUM_THREADS=1   !如果是ReaxFF作业建议增加这一行
 
JOBNAME=
 
dos2*unix ./${JOBNAME}.run
chmod 700 ./${JOBNAME}.run
mkdir ${JOBNAME}
mv ./${JOBNAME}.run ${JOBNAME}
cd ${JOBNAME}
mkdir /tmp/${JOBNAME}
export SCM_TMPDIR=/tmp/${JOBNAME}
./${JOBNAME}.run >${JOBNAME}.out
rm -rf $SCM_TMPDIR
mv ams.results ${JOBNAME}.results 
mv logfile ${JOBNAME}.logfile
mv * ../
cd ..
rm -rf ${JOBNAME}

用户将该脚本和run文件与脚本文件放到同一个文件夹内,并在上述脚本文件中

JOBNAME=

填写上具体的名字即可提交,例如上传的文件是123.run,则JOBNAME=123。

2,如果集群可以使用GUI

AMSJobs → Queue → New → LSF即可设置。 说明如下:

  1. Queue Name:可以根据用户习惯设置,用于提醒用户这个队列的特征,不能包含中文、空格
  2. Remote host:必须填写localhost,即在本节点提交作业(到集群其他计算节点)
  3. remote user:不填写
  4. Remote job directory:作业存放路径,这个可以较为灵活设置,一般不影响使用,因为实际使用过程中,仍然可以选择存储在任何其他路径中
  5. Run command:原则上这里汇集了LSF脚本的前几行的信息,照抄即可,最后是“< $job”结尾
  6. Prolog command:用source语句读取软件中的amsbashrc.sh文件,使得环境变量生效

二、PBS系统

1,脚本样本

#!/bin/bash
#PBS -N cc 
#PBS -l nodes=1:ppn=20
#PBS -q long
#PBS -j oe
#PBS -l walltime=168:00:00
NPROCS=`wc -l < $PBS_NODEFILE`
cd $PBS_O_WORKDIR
source /home-gg/users/nscc1143/ADF/ams2020.101/amsbashrc.sh
export OMP_NUM_THREADS=1  !如果是ReaxFF作业建议增加这一行
 
JOBNAME=
 
dos2*unix ./${JOBNAME}.run
chmod 700 ./${JOBNAME}.run
mkdir ${JOBNAME}
mv ./${JOBNAME}.run ${JOBNAME}
cd ${JOBNAME}
mkdir /tmp/${JOBNAME}
export SCM_TMPDIR=/tmp/${JOBNAME}
./${JOBNAME}.run >${JOBNAME}.out
rm -rf $SCM_TMPDIR
mv ams.results ${JOBNAME}.results 
mv logfile ${JOBNAME}.logfile
mv * ../
cd ..
rm -rf ${JOBNAME}

用户将该脚本和run文件与脚本文件放到同一个文件夹内,并在上述脚本文件中

JOBNAME=

填写上具体的名字即可提交,例如上传的文件是123.run,则JOBNAME=123。

如果是进行片度分析,那么参考:Linux系统中,片段分析如何使用run文件提交任务

2,如果集群可以使用GUI

在登录节点打开AMSJobs → Queue → New → PBS,上面脚本内容,对应的设置如下:

说明如下:

  1. Queue Name:可以根据用户习惯设置,用于提醒用户这个队列的特征,不能包含中文、空格
  2. Remote host:必须填写localhost,即在本节点提交作业(到集群其他计算节点),当然也可以写登录节点的IP或者其他机器名
  3. Remote job directory:作业存放路径,这个可以较为灵活设置,一般不影响使用,因为实际使用过程中,仍然可以选择存储在任何其他路径中
  4. Run command:原则上这里汇集了PBS脚本的前几行的信息,照抄即可,最后是“ $job”结尾
  5. Prolog command:用source语句读取软件中的amsbashrc.sh文件,使得环境变量生效

三、SLURM系统

参考:Slurm作业系统的安装与提交任务

如果运行有问题,可以咨询ams@fermitech.com.cn。

adf/pbsorlsf.txt · 最后更改: 2023/07/21 12:36 由 liu.jun

© 2014-2022 费米科技(京ICP备14023855号