用户工具

站点工具


atk:设置用于计算的远程服务器

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

两侧同时换到之前的修订记录前一修订版
后一修订版
前一修订版
atk:设置用于计算的远程服务器 [2018/05/10 10:47] – [问题排除] fermiatk:设置用于计算的远程服务器 [2024/01/02 16:03] (当前版本) – [添加 PBS、LSF、SLURM 队列服务器] fermi
行 9: 行 9:
   * 强壮:任务成功提交之后,即可断开与服务器的连接;不必担心网络问题造成的计算中断;无后台进程、数据库等复杂配置,更强壮;   * 强壮:任务成功提交之后,即可断开与服务器的连接;不必担心网络问题造成的计算中断;无后台进程、数据库等复杂配置,更强壮;
   * 便捷:随时可以联机查看即可查看任务、下载计算结果。   * 便捷:随时可以联机查看即可查看任务、下载计算结果。
- 
-从2017版开始,设置使用Job Manager向服务器提交作业变得格外方便。 
- 
-===== 在QuantumATK中添加Job Manager中添加计算服务器 ===== 
  
 QuantumATK中支持两种在远程服务器上运行的方式: QuantumATK中支持两种在远程服务器上运行的方式:
   * Direct:即服务器上没有PBS等队列系统,提交的计算直接在登录的主机上运行。这种方法常试用于单节点的服务器。   * Direct:即服务器上没有PBS等队列系统,提交的计算直接在登录的主机上运行。这种方法常试用于单节点的服务器。
-  * 通过服务器的队列系统提交:对于大型集群,推荐使用这种方法,目前支持PBS、LSF、SLURM等三种作业队列管理系统。+  * 通过服务器的队列系统提交:对于大型集群,推荐使用这种方法,支持市面上常见的所有作业队列管理系统: 
 +    * PBS、SLURM、LSF、SGE、PBS Pro。 
  
  
-==== 添加Direct模式服务器 ====+===== 添加无作业队列系统的计算服务器 =====
  
  
-  * 首先确定要在服务器上哪个账户下运行ATK计算,使用终端正确登录服务器,在合适的位置创建一个文件夹用于存放运行ATK产生的文件(例如$HOME/atkjobs); +  * 首先确定要在服务器上哪个账户下运行ATK计算,使用终端正确登录服务器,在合适的位置(例如$HOME/qatkjobs)创建一个文件夹用于存放运行 QuantumATK 产生的文件; 
-  * 点击“New”选择“Remote Direct”; +  * 点击''Create Computer''图标,选择 ''New DirectRemote'' 
-{{ :atk:job-manager-new.png?500 |}} + 
-  * 在Settings里设置名称、IP地址(或主机名、域名)端口(SSH默认为22,登录的用户名; +{{ :atk:jobs-direct-scrnshot-2023-11-22_211043.png?600 |}} 
-{{ :atk:job-manager-direct-settings.png?400 |}} + 
-  * 点击''+'',选择一个妥善的保存路径,点击''Create''生成SSH Key(显示Successfully Generated),下方输入服务器登录的用户名和密码,点击''Upload''上传SSH Key +  * 在Settings里设置: 
-{{ :atk:job-manager-direct-settings-sshkey.png?300 |}} +    * Machine Name(仅用于方便使用者识别服务器); 
-  * 在Environment中设置保存计算任务的文件夹、mpi执行命令、要source的脚本(根据服务器一般提交任务脚本进行设置,要export的环境变量(变量前不用加export命令)、Modules to load等; +    * Hostname:服务器 IP 地址(或域名); 
-{{ :atk:job-manager-direct-environment.png?400 |}} +    * Port:端口(SSH默认为22,非默认端口时,请咨询管理员); 
-  * 在Resources里设置任务使用的计算资源(注:这里设置的是默认运行一个作业的计算资源,提交计算时还可以根据实际情况调整); +    * Username:登录的用户名; 
-{{ :atk:job-manager-direct-resources.png?400 |}}+    * Key password:密码。 
 + 
 +{{ :atk:jobs-direct-scrnshot-2024-01-02_153053.png?400 |}} 
 + 
 +  * 点击Private key path后的''+''按钮,选择一个妥善的保存路径,点击 ''Create'' 生成SSH Key(显示“秘钥文件生成成功”),下方输入服务器登录的用户名和密码,点击''Upload''上传SSH Key,显示“上传成功”。 
 + 
 +{{ :atk:jobs-direct-2024-01-02_152858.png?300 |}} 
 + 
 +  * 在 Environment 中设置: 
 +    * Working Directory:保存计算任务的文件夹(第一步创建的文件夹); 
 +    * ATK executable path:atkpython的位置绝对路径(位于安装目录下); 
 +    * mpiexec executable path:mpiexec的位置绝对路径(位于安装目录下); 
 +    * Script to source:要 source 的脚本(根据服务器一般的用户要求设置,没有则空白); 
 +    * export statements:要export的环境变量(变量前不用加export命令)。 
 +    * Job specification command:其他要添加在脚本中的命令。 
 + 
 +{{ :atk:jobs-direct-scrnshot-2024-01-02_153606.png?400 |}} 
 + 
 +  * 在Resources里设置任务使用的计算资源与并行方式 
 +    * Number of MPI processes:提交作业时使用的总MPI并行进程数; 
 +    * Number of MPI processes:每个节点上运行多少个MPI并行进程 
 +    * 这里设置的是默认运行一个作业的计算资源,提交计算时还可以根据实际情况调整; 
 + 
 +{{ :atk:jobs-direct-scrnshot-2024-01-02_154258.png?400 |}}
  
 之后可以使用diagnostics诊断设置是否正确,当所有项目显示对号时即完成了配置。 之后可以使用diagnostics诊断设置是否正确,当所有项目显示对号时即完成了配置。
-{{ :atk:job-manager-direct-diagnostics.png?400 |}} 
  
 +{{ :atk:jobs-direct-scrnshot-2024-01-02_154713.png?400 |}}
  
  
-==== 添加PBS、LSF、SLURM队列服务器 ==== 
  
-这里以PBS为例。+==== 添加 PBS、LSF、SLURM 队列服务器 ====
  
-  * 点击“New”选择“Remote PBS” +这里以 PBS 为例。 
-{{ :atk:job-manager-new.png?500 |}} + 
-  * 在Settings里设置:+  * 点击 ''Create Computer''按钮,选择 “New PBS” 
 + 
 +{{ :atk:jobs-pbs-scrnshot-2024-01-02_154848.png?600 |}} 
 + 
 +  * 在 Settings 里设置:
     * **Machine Name**:可以自定义一个服务器的名称;     * **Machine Name**:可以自定义一个服务器的名称;
-    * **Hostname**:通常为服务器的IP地址(或主机名、域名) +    * **Hostname**:通常为服务器的 IP 地址(或主机名、域名) 
-    * **Port**:默认端口为22+    * **Port**:默认端口为 22(非默认端口请咨询管理员)
     * **Username**:登录服务器的用户名     * **Username**:登录服务器的用户名
-    * **Queue Name**:PBS队列名称,可以输入多个,使用逗号分隔; +    * **Queue Name**:PBS 队列名称,可以输入多个,使用逗号分隔; 
-    * **Path to PBS binaries**: PBS(或Torque)命令位置(不含命令本身),可在终端中使用''which qsub''命令查看。 +    * **Path to PBS binaries**: PBS(或Torque)命令位置(不含命令本身),可在终端中使用 ''which qsub'' 命令查看。 
-{{ :atk:job-manager-pbs-settings.png?400 |}} + 
-  * 点击''+'',选择一个妥善的保存路径,点击''Create''生成SSH Key(显示Key Generated),下方输入服务器登录的用户名和密码,点击''Upload''上传SSH Key;+{{ :atk:jobs-pbs-scrnshot-2024-01-02_155017.png?400 |}} 
 + 
 +  * 点击 ''+'',选择一个妥善的保存路径,点击 ''Create'' 生成 SSH Key(显示Key Generated),下方输入服务器登录的用户名和密码,点击 ''Upload'' 上传 SSH Key; 
 +  * 
 {{ :atk:job-manager-direct-settings-sshkey.png?300 |}} {{ :atk:job-manager-direct-settings-sshkey.png?300 |}}
-  * 在Environment中设置:+ 
 +  * 在 Environment 中设置:
     * **Working directory**:保存计算任务的文件夹     * **Working directory**:保存计算任务的文件夹
-    * **ATK executable path**: atkpython命令的位置   +    * **ATK executable path**: atkpython 命令的位置   
-    * **mpiexec executable**: mpi命令的位置;  +    * **mpiexec executable**: mpi 命令的位置;  
-    * **Script to source**:要source的脚本(根据服务器一般提交任务的脚本进行设置,建议将mpi PATH等环境变量放在这里) +    * **Script to source**:要 source 的脚本(根据服务器一般提交任务的脚本进行设置,建议将 mpi PATH 等环境变量放在这里) 
-    * **Export statements**:要export的环境变量(变量前不用加export命令);+    * **Export statements**:要 export 的环境变量(变量前不用加 export 命令);
     * **Modules to load**:某些大型服务器要加载的模块;     * **Modules to load**:某些大型服务器要加载的模块;
-    * **Raw submission text**:自定义的PBS脚本命令,直接写入PBS脚本。 +    * **Raw submission text**:自定义的 PBS 脚本命令,直接写入 PBS 脚本。 
-{{ :atk:job-manager-pbs-environment.png?400 |}} + 
-  * 在Resources里设置任务使用的计算资源+{{ :atk:jobs-pbs-scrnshot-2024-01-02_155108.png?400 |}} 
 + 
 +  * 在 Resources 里设置任务使用的计算资源
     * number of nodes:提交计算要请求的节点数     * number of nodes:提交计算要请求的节点数
     * numer of cores per node: 每个节点的核心数     * numer of cores per node: 每个节点的核心数
-    * Enable MKL_DYNAMIC:是否使用MKL的动态线程(实际并行效果需根据系统情况测试) +    * Enable MKL_DYNAMIC:是否使用 MKL 的动态线程(实际并行效果需根据系统情况测试) 
-{{ :atk:job-manager-pbs-resource.png?400 |}} + 
-  * 在Notification里设置作业状态检查和提醒的选项+{{ :atk:jobs-pbs-scrnshot-2024-01-02_155142.png?400 |}} 
 +  * 在 Notification 里设置作业状态检查和提醒的选项
     * 设置检查作业状态的时间间隔     * 设置检查作业状态的时间间隔
-    * 邮件提醒需要服务器PBS系统支持。 +    * 邮件提醒需要服务器 HPC 系统支持,请咨询管理员。 
-{{ :atk:job-manager-pbs-notification.png?400 |}} + 
-  * 最后在Diagnostics里检查配置是否正常,出现任何错误时,根据提示对前面的设置进行修改。 + 
-{{ :atk:job-manager-pbs-diagnostics.png?400 |}}+  * 最后在 Diagnostics 里检查配置是否正常,出现任何错误时,根据提示对前面的设置进行修改。 
 + 
 +{{ :atk:jobs-pbs-scrnshot-2024-01-02_155300.png?400 |}} 
 + 
  
 +===== 提交任务测试 =====
  
-===== 提交任务 =====+如果以上设置没有问题,可以尝试提交任务。详情参见:[[atk:使用job_manager向服务器上提交作业|]]。
  
-如果以上设置没有问题,可以尝试提交任务。详情参见:[[atk:使用job_manager向服务器上提交作业|]] 
-提交任务遇到问题时,需要针对具体问题编辑设置。提交任务的PBS脚本的详细设置请参考:[[atk:通过命令行方式手动提交ATK计算|通过命令行方式手动提交QuantumATK计算]]。 
  
  
atk/设置用于计算的远程服务器.1525920432.txt.gz · 最后更改: 2018/05/10 10:47 由 fermi

© 2014-2022 费米科技(京ICP备14023855号