这里会显示出您选择的修订版和当前版本之间的差别。
两侧同时换到之前的修订记录前一修订版后一修订版 | 前一修订版 | ||
atk:设置用于计算的远程服务器 [2018/05/11 22:38] – fermi | atk:设置用于计算的远程服务器 [2024/01/02 16:03] (当前版本) – [添加 PBS、LSF、SLURM 队列服务器] fermi | ||
---|---|---|---|
行 9: | 行 9: | ||
* 强壮:任务成功提交之后,即可断开与服务器的连接;不必担心网络问题造成的计算中断;无后台进程、数据库等复杂配置,更强壮; | * 强壮:任务成功提交之后,即可断开与服务器的连接;不必担心网络问题造成的计算中断;无后台进程、数据库等复杂配置,更强壮; | ||
* 便捷:随时可以联机查看即可查看任务、下载计算结果。 | * 便捷:随时可以联机查看即可查看任务、下载计算结果。 | ||
- | |||
- | 从2017版开始,设置使用Job Manager向服务器提交作业变得格外方便。 | ||
- | |||
- | ===== 在QuantumATK中添加Job Manager中添加计算服务器 ===== | ||
QuantumATK中支持两种在远程服务器上运行的方式: | QuantumATK中支持两种在远程服务器上运行的方式: | ||
* Direct:即服务器上没有PBS等队列系统,提交的计算直接在登录的主机上运行。这种方法常试用于单节点的服务器。 | * Direct:即服务器上没有PBS等队列系统,提交的计算直接在登录的主机上运行。这种方法常试用于单节点的服务器。 | ||
- | * 通过服务器的队列系统提交:对于大型集群,推荐使用这种方法,目前支持PBS、LSF、SLURM等三种作业队列管理系统。 | + | * 通过服务器的队列系统提交:对于大型集群,推荐使用这种方法,支持市面上常见的所有作业队列管理系统: |
+ | * PBS、SLURM、LSF、SGE、PBS Pro。 | ||
- | ==== 添加Direct模式服务器 ==== | + | ===== 添加无作业队列系统的计算服务器 |
- | * 首先确定要在服务器上哪个账户下运行ATK计算,使用终端正确登录服务器,在合适的位置创建一个文件夹用于存放运行ATK产生的文件(例如$HOME/ | + | * 首先确定要在服务器上哪个账户下运行ATK计算,使用终端正确登录服务器,在合适的位置(例如$HOME/ |
- | * 点击“New”选择“Remote Direct”; | + | * 点击'' |
- | {{ :atk:job-manager-new.png?500 |}} | + | |
- | * 在Settings里设置名称、IP地址(或主机名、域名)、端口(SSH默认为22),登录的用户名; | + | {{ :atk:jobs-direct-scrnshot-2023-11-22_211043.png?600 |}} |
- | {{ :atk:job-manager-direct-settings.png?400 |}} | + | |
- | * 点击'' | + | * 在Settings里设置: |
- | {{ :atk:job-manager-direct-settings-sshkey.png?300 |}} | + | * Machine Name(仅用于方便使用者识别服务器); |
- | * 在Environment中设置保存计算任务的文件夹、mpi执行命令、要source的脚本(根据服务器一般提交任务的脚本进行设置,、要export的环境变量(变量前不用加export命令)、Modules to load等; | + | * Hostname:服务器 |
- | {{ :atk:job-manager-direct-environment.png?400 |}} | + | * Port:端口(SSH默认为22,非默认端口时,请咨询管理员); |
- | * 在Resources里设置任务使用的计算资源(注:这里设置的是默认运行一个作业的计算资源,提交计算时还可以根据实际情况调整); | + | * Username:登录的用户名; |
- | {{ :atk:job-manager-direct-resources.png?400 |}} | + | * Key password:密码。 |
+ | |||
+ | {{ :atk:jobs-direct-scrnshot-2024-01-02_153053.png?400 |}} | ||
+ | |||
+ | * 点击Private key path后的'' | ||
+ | |||
+ | {{ :atk:jobs-direct-2024-01-02_152858.png?300 |}} | ||
+ | |||
+ | * 在 Environment 中设置: | ||
+ | * Working Directory:保存计算任务的文件夹(第一步创建的文件夹); | ||
+ | * ATK executable path:atkpython的位置绝对路径(位于安装目录下); | ||
+ | * mpiexec executable path:mpiexec的位置绝对路径(位于安装目录下); | ||
+ | * Script to source:要 source 的脚本(根据服务器一般的用户要求设置,没有则空白); | ||
+ | * export statements:要export的环境变量(变量前不用加export命令)。 | ||
+ | * Job specification command:其他要添加在脚本中的命令。 | ||
+ | |||
+ | {{ :atk:jobs-direct-scrnshot-2024-01-02_153606.png?400 |}} | ||
+ | |||
+ | * 在Resources里设置任务使用的计算资源与并行方式: | ||
+ | * Number of MPI processes:提交作业时使用的总MPI并行进程数; | ||
+ | * Number of MPI processes:每个节点上运行多少个MPI并行进程 | ||
+ | * 这里设置的是默认运行一个作业的计算资源,提交计算时还可以根据实际情况调整; | ||
+ | |||
+ | {{ :atk:jobs-direct-scrnshot-2024-01-02_154258.png?400 |}} | ||
之后可以使用diagnostics诊断设置是否正确,当所有项目显示对号时即完成了配置。 | 之后可以使用diagnostics诊断设置是否正确,当所有项目显示对号时即完成了配置。 | ||
- | {{ :atk:job-manager-direct-diagnostics.png?400 |}} | + | |
+ | {{ :atk:jobs-direct-scrnshot-2024-01-02_154713.png?400 |}} | ||
行 43: | 行 64: | ||
这里以 PBS 为例。 | 这里以 PBS 为例。 | ||
- | * 点击 | + | * 点击 |
- | {{ :atk:job-manager-new.png?500 |}} | + | |
+ | {{ :atk:jobs-pbs-scrnshot-2024-01-02_154848.png?600 |}} | ||
* 在 Settings 里设置: | * 在 Settings 里设置: | ||
* **Machine Name**:可以自定义一个服务器的名称; | * **Machine Name**:可以自定义一个服务器的名称; | ||
* **Hostname**:通常为服务器的 IP 地址(或主机名、域名) | * **Hostname**:通常为服务器的 IP 地址(或主机名、域名) | ||
- | * **Port**:默认端口为 22 | + | * **Port**:默认端口为 22(非默认端口请咨询管理员) |
* **Username**:登录服务器的用户名 | * **Username**:登录服务器的用户名 | ||
* **Queue Name**:PBS 队列名称,可以输入多个,使用逗号分隔; | * **Queue Name**:PBS 队列名称,可以输入多个,使用逗号分隔; | ||
* **Path to PBS binaries**: PBS(或Torque)命令位置(不含命令本身),可在终端中使用 '' | * **Path to PBS binaries**: PBS(或Torque)命令位置(不含命令本身),可在终端中使用 '' | ||
- | {{ :atk:job-manager-pbs-settings.png?400 |}} | + | |
+ | {{ :atk:jobs-pbs-scrnshot-2024-01-02_155017.png?400 |}} | ||
* 点击 '' | * 点击 '' | ||
+ | * | ||
{{ : | {{ : | ||
+ | |||
* 在 Environment 中设置: | * 在 Environment 中设置: | ||
* **Working directory**:保存计算任务的文件夹 | * **Working directory**:保存计算任务的文件夹 | ||
行 63: | 行 90: | ||
* **Modules to load**:某些大型服务器要加载的模块; | * **Modules to load**:某些大型服务器要加载的模块; | ||
* **Raw submission text**:自定义的 PBS 脚本命令,直接写入 PBS 脚本。 | * **Raw submission text**:自定义的 PBS 脚本命令,直接写入 PBS 脚本。 | ||
- | {{ :atk:job-manager-pbs-environment.png?400 |}} | + | |
+ | {{ :atk:jobs-pbs-scrnshot-2024-01-02_155108.png?400 |}} | ||
* 在 Resources 里设置任务使用的计算资源 | * 在 Resources 里设置任务使用的计算资源 | ||
* number of nodes:提交计算要请求的节点数 | * number of nodes:提交计算要请求的节点数 | ||
* numer of cores per node: 每个节点的核心数 | * numer of cores per node: 每个节点的核心数 | ||
* Enable MKL_DYNAMIC:是否使用 MKL 的动态线程(实际并行效果需根据系统情况测试) | * Enable MKL_DYNAMIC:是否使用 MKL 的动态线程(实际并行效果需根据系统情况测试) | ||
- | {{ :atk:job-manager-pbs-resource.png?400 |}} | + | |
+ | {{ :atk:jobs-pbs-scrnshot-2024-01-02_155142.png?400 |}} | ||
* 在 Notification 里设置作业状态检查和提醒的选项 | * 在 Notification 里设置作业状态检查和提醒的选项 | ||
* 设置检查作业状态的时间间隔 | * 设置检查作业状态的时间间隔 | ||
- | * 邮件提醒需要服务器 | + | * 邮件提醒需要服务器 |
- | {{ : | + | |
* 最后在 Diagnostics 里检查配置是否正常,出现任何错误时,根据提示对前面的设置进行修改。 | * 最后在 Diagnostics 里检查配置是否正常,出现任何错误时,根据提示对前面的设置进行修改。 | ||
- | {{ :atk:job-manager-pbs-diagnostics.png?400 |}} | + | |
+ | {{ :atk:jobs-pbs-scrnshot-2024-01-02_155300.png?400 |}} | ||