用户工具

站点工具

本页面的其他翻译:
  • zh

atk:使用job_manager向远程服务器上提交作业

这是本文档旧的修订版!


使用Job Manager向远程服务器上提交作业

概述

最新的VNL-ATK 2015中的Job Manager支持设置设置远程服务器提交任务,该方法的特点是:

  • 使用SSH加密通信,仅使用SSH端口,不需要单独开放其他端口,相比其他软件更加安全,特别适合公共服务器上部署ATK计算;
  • 支持自动创建任务文件夹和提交脚本,不需要终端登录服务器进行任务提交。
  • 任务成功提交之后,即可断开与服务器的连接。下次再连接时即可查看任务、下载计算结果。

设置使用Job Manager远程提交并查看任务供分为两步:

  1. 设置无密码SSH通信
  2. 设置提交服务器

第一步:设置ssh无密码通信(以远程服务器为Linux系统为例)

情况1.本机为Linux、Unix、Mac等系统

  • 命令:ssh-keygen -t rsa -C “MyMachine” (MyMachine可以改成便于标识本机客户端的字符,一直回车结束)
  • cat ~/.ssh/id_rsa.pub(显示public key,拷贝下)
  • 登录到远程服务器,检查是否存在 ~/.ssh/authorized_keys,若不存在创建此文件,将上一步拷贝的public key粘贴并保存;如果文件存在,则将上一步拷贝的public key粘贴在文件尾并保存。

情况2.本机为Windows系统

使用putty尝试无密码登录:

第二步:在VNL-ATK中添加Job Manager中添加远程服务器

目前ATK中支持Direct和PBS两种服务器提交方式:

  • Direct:即服务器上没有PBS等队列系统,提交的计算直接在登录的主机上运行。这种方法常试用于单节点的服务器。
  • PBS:即VNL-ATK将通过PBS系统提交任务。

这里以比较复杂的PBS为例:

  • 点击“New”选择“Remote PBS”

  • 在Settings里设置名称、IP地址(或主机名、域名)、端口(SSH默认为22),登录的用户名、存储ssh private key的目录、队列名称、PBS(或Torque)命令位置等。

  • 在Environment中设置保存计算任务的文件夹、mpi执行命令、要source的脚本(根据服务器一般提交任务的脚本进行设置,建议将mpi PATH等环境变量放在这里)、要export的环境变量(变量前不用加export命令)、Modules to load等。

  • 在Resources里设置任务使用的计算资源

  • 设置好之后可以看到所有的设置:

需要尝试提交任务,针对具体问题编辑设置。

注意:当有任务提交之后,可能无法编辑服务器设置,需要先将任务从该服务器下删除(不会删除服务器上的任务文件夹和已经下载的数据)。

atk/使用job_manager向远程服务器上提交作业.1456970666.txt.gz · 最后更改: 2016/03/03 10:04 由 fermi

© 2014-2022 费米科技(京ICP备14023855号