1. 如何通过pbs提交materials studio计算任务
如何使用命令行方式提交 MS 的计算作业 Castep: 1. 打开 MS 界面, 建立相关模型, 并且在 Castep 的 Calculatiton 对话框中设置相关参数; 2. 不要单击 Run 进行 Castep 计算工作,而要在 Calculation 对话框中选择 Files -> Save Files,此时会在 Project Explorer 中出现一个新的目录,其中包括了使用命令行运行 Castep 的输入文件; 3. 使用 Windows 的文件管理器进入该目录(相关 Project 名称.files\Documents 下), 能够 看到所需要的输入文件。 注意,由于 castep 计算所需的.cell 文件是隐藏文件,因此需要在“工具|文件夹选项” 中选择“显示隐藏文件” 。 将以下文件拷贝到 SGI Prism 的相关路径下, *.cell、*.param。 此外,需要将计算所需的赝势文件拷贝到 SGI Prism 相关路径下。 (在 CASTEP | Calculation | Electronic 的 more 下 Potential 中可以看到所使用的赝 势 文 件 , 该 文 件 的 路 径 在 Windows 系 统 的 <MS 安 装 路 径 >\MS Modeling 3.2\Data\Resources\Quantum\Castep\Potentials 中,请将所出现的赝势文件全部拷贝到 SGI Prism 机器上,否则会导致计算失败) 4. 使用帐号登陆到 SGI Prism 下,进入相关文件夹(文件夹中包括刚才所有的文件) , 并执行命令: > chmod 777 *.* > /home/msi/ms/CASTEP/bin/RunCASTEP.sh -np n seedname 注:-np 表示使用多 CPU 进行并行运算; n 表示所使用的 CPU 数目 seedname 表示计算作业的名称, 例如相关参数文件为 Al.param, Seedname 则 为 Al,不带后缀名 5. 计算完成后,请将该目录中所有的文件下载到本地机器上,并放到刚才在 Visualizer 下新建的目录中; 6. 在 Visualizer 的 Project Explorer 中单击右键,选择刷新,即可看到刚才所有计算得 到的结果,并可在 MS 中进行分析。 DMol3 1. 打开 MS 界面, 建立相关模型, 并且在 DMol 的 Calculatiton 对话框中设置相关参数; # 2. 不要单击 Run 进行 DMol 计算工作,而要在 Calculation 对话框中选择 Files -> Save Files,此时会在 Project Explorer 中出现一个新的目录,其中包括了使用命令行运行 DMol3 的输入文件; 3. 使用 Windows 的文件管理器进入该目录(相关 Project 名称.files\Documents 下), 能够 看到所需要的输入文件。 注意,由于 DMol3 计算所需的.car 和.mdf 文件是隐藏文件,因此需要在“工具|文件 夹选项”中选择“显示隐藏文件” 。
2. TOOLs:slurm集群的使用
目前用过的集群系统有PBS/qsub系统,感觉是命令简单,容易上手。
现在使用的是SLURM系统,
SLURM系统常用命令如下:
注意把 username 替换成你自己的账户名
1.常用的查看、取消、运行命令
任务状态码说明:PD排队;R运行;S挂起;CG正在退出
中心的服务器node01大节点,80核,500G mem,node02-09小节点,56核,120G mem。
当提交的任务的cpu数量超过node的总cpu数量时候,任务可以被正常提交,但是无法被执行。
2.test.s的内容和参数
注意:partition需要自己查看自己的服务器的分区名称,使用 sinfo 命令可以查看到。
参考1 PBS和slurm的命令对比
3. 为什么用linux中的vi命令打开pbs文件,只显示文件的后几行,前几行不显
使用 gg 命令跳转到第一行试试。
4. PBS脚本 提交任务
#如何在linux下创建一个可运行shell脚本
#新建一个.sh文件
touch cellranger.count.sh
#编辑test.sh文件
vi test.sh
#键入i,输入内容;#!/bin/sh必须放在第一行;然后键入esc键,输入:wq保存退出
#给test.sh赋予可执行权限
chmod +x test.sh
#执行脚本
sh test.sh
PBS 脚本格式 :PBS脚本为.pbs文件,将提交任务的命令写在PBS脚本中提交,PBS脚本由抬头的任务详情和具体命令组成:
抬头任务详情格式:
#PBS -N myjob
#PBS -o /home/jz/my.out
#PBS -e /home/jz/my.err
#PBS –l nodes=2:ppn=1
#########################创建自己的
这里的#不是注释的意思
#PBS -N cellranger.f
#PBS -o /home/yifan/project/LJ.22.02.sc/cellranger/my.out
#PBS -e /home/yifan/project/LJ.22.02.sc/cellranger/my.err
#PBS –l nodes=2:ppn=1
cd /home/yifan/project/LJ.22.02.sc
for id in KOAC KONC WTAC WTNC
do
/home/yifan/software/cellranger-6.1.2/cellranger count --localcores=40 --localmem=120 --id=${id}2 --transcriptome=/home/yifan/data/ref/cellranger.mm10/refdata-gex-mm10-2020-A --nosecondary --fastqs=/home/yifan/project/LJ.22.02.sc --sample=${id}
done
一般格式:qsub + 脚本名称,
如:qsub myname.pbs
cd /home/yifan/project/LJ.22.02.sc
qsub cellranger.count.sh
65690.mu01 #给出了任务号
命令格式:qatat[-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]
qstat -an
参数说明:
-f jobid 列出指定作业的信息
-a 列出系统所有作业
-i 列出不在运行的作业
-n 列出分配给此作业的结点
-s 列出队列管理员与scheler 所提供的建议
-R 列出磁盘预留信息
-Q 操作符是destination id,指明请求的是队列状态
-q 列出队列状态,并以alternative 形式显示
-au userid 列出指定用户的所有作业
-B 列出PBS Server 信息
-r 列出所有正在运行的作业
-Qf queue 列出指定队列的信息
-u 若操作符为作业号,则列出其状态。
若操作符为destination id,则列出运行在其上的属于user_list中用户的作业状态。
例:# qstat -f 211 查询作业号为211 的作业的具体信息。
5. Linux/超算中PBS常用命令
新手,纯纯搬运工【出处引用自: https://www.guanjihuan.com 】
1. Linux常用命令
最常用:
ls(英文全拼:list files):列出目录及文件名
ls -l:列出目录及文件名,可查看更多
ls -al:可以看到隐藏文件
cd(英文全拼:change directory):切换目录
cd .. :返回上一级
cd 文件夹名:进入目录
pwd(英文全拼:print work directory):显示目前的目录
mkdir 文件夹名(英文全拼:make directory):创建一个新的目录
rmdir 文件夹名(英文全拼:remove directory):删除一个空的目录
cp xxx xxx(英文全拼: file): 复制文件或目录
mv xxx xxx(英文全拼:move file): 移动文件或目录,或修改文件或目录的名称
rm(英文全拼:remove): 删除文件
rm -r 文件夹名:递归删除某目录
clear:清空terminal的所有内容(或者使用Ctrl+L)
tab按键:补充完整文件名或文件夹名
次常用:
vim/vi 某文件 (编辑文件)
nano 某文件 (编辑文件)
touch 文件 (新建空文件)
sudo -s (切换到root模式)
exit (退出root模式等)
sudo chmod -R 755 文件名/文件夹名 (获取文件/文件夹的755权限)
chown [用户] [文件或目录] (改变文件或目录的所有者)
chgrp [用户组] [文件或目录] (改变文件或目录的所属组)
make (编译成.exe)
解压/解包:
tar文件 (注:tar是打包,不是压缩!)
解包:tar xvf FileName.tar
打包:tar cvf FileName.tar DirName
.gz文件
解压1:gunzip FileName.gz
解压2:gzip -d FileName.gz
压缩:gzip FileName
.tar.gz 和 .tgz文件
解压:tar zxvf FileName.tar.gz
压缩:tar zcvf FileName.tar.gz DirName
安装和卸载deb软件包:
安装:sudo dpkg -i deb文件
查看:sudo dpkg -l
卸载:sudo dpkg -r 软件名
参考资料:
[1] Linux 教程
[2] Linux常用命令
[3] linux中tar命令的用法
[4] 全网最全Linux命令总结
2. vim/vi里的操作
:q 退出
:wq 保存并退出
:w 保存
:q! 强行退出(不保存退出)
:w! 强行保存
i 进入编辑,转为输入模式(光标前面)
a 进入编辑,转为输入模式(光标后面)
o 进入编辑,转为输入模式(光标下方新建一行)
Esc 退出i(插入)命令
3. 超算中PBS常用命令
pbsnodes (查看所有节点)
pbsnodes -l free (查看空闲节点)
pbsnodes 某节点 (查看某节点状态)
ssh 某节点 (转到某节点)
exit (离开节点)
qsub 文件名.pbs/sh (提交任务)
qstat (列出状态)
qstat -q (列出队列)
qstat -n (列出队列中使用的节点)
qstat -f jobid (查看jobid任务的详细信息)
qdel jobid (取消任务)
4. 其他
(1)Linux开机自启
sh文件中包含:
#!/bin/bash#chkconfig: 2345 80 90#description:auto_run
sh文件移动到/etc/init.d后,分别输入命令:
chkconfig --add xxx.sh
chkconfig --list
chkconfig xxx.sh on
service xxx.sh start
参考资料: linux 开机启动 .sh 文件 - 自己的太阳 - 博客园
(2)Linux环境变量
方法1:临时使用环境变量:export PATH="/home/www/anaconda3/bin:$PATH"
方法2:修改.bashrc文件
参考资料: Linux PATH 作用以及查看和修改方法_haozhepeng的专栏
(3)两个sh文件
a.sh文件(用于提交任务,执行a.py文件)
#!/bin/sh#PBS -N task#PBS -l nodes=1:ppn=1#PBS -q scorecd $PBS_O_WORKDIRexport OMP_NUM_THREADS=1python a.py
a.sh文件(用于提交任务,执行a.exe文件)
#!/bin/sh#PBS -N task#PBS -l nodes=1:ppn=1#PBS -q scorecd $PBS_O_WORKDIRexport OMP_NUM_THREADS=1./a.exe
(4)一个makefile文件
makefile文件(用于编译Fortran文件)
INC := -I/public/software/compiler/intel/composer_xe_2015.2.164/mkl/include/intel64/lp64
LIB := -L/public/software/compiler/intel/composer_xe_2015.2.164/mkl/lib/intel64
mpi:= -I/public/software/mpi/mpich/3.1.4/intel/include /public/software/mpi/mpich/3.1.4/intel/lib -lmpich -limf -lsvml -lintlc
src:=Console1exec:=a
all: $(src).f90
ifort $(src).f90 $(INC) $(LIB) -openmp -lmkl_intel_lp64 -Wl,--start-group -lmkl_intel_thread -lmkl_lapack95_lp64 -lmkl_core -lmkl_blas95_lp64 -Wl,--end-group -liomp5 -lpthread -O2 -o $(exec).exe
6. 主板bios里的PBS是什么
PBS是一个批处理作业和计算机系统资源管理软件包。
它原本是按照POSIX1003.2d批处理环境来开发的。这样,它就可以接受批处理作业、shell脚本和控制属性,作业运行前对其储存并保护,然后运行作业,并且把输出转发回提交者。
PBS可以被安装并配置运行在单机系统或多个系统组来支持作业处理。由于PBS的灵活性,多个系统可以以多种方式组合。
PBS的组件:PBS包括四个主要的组件:命令组件、作业服务器、作业执行组件和作业调度器。这里给出每一部分的简要描述来帮助你在安装过程中做出决定。
7. 在linux系统里qstat是什么意思
qstat 不是linux命令,此命令用于PBS公开源代码的作业管理系统。
qstat 命令—用于查询作业状态信息
命令格式:qatat [-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]
参数说明:
-f jobid 列出指定作业的信息
-a 列出系统所有作业
-i 列出不在运行的作业
-n 列出分配给此作业的结点
-s 列出队列管理员与scheler 所提供的建议
-R 列出磁盘预留信息
-Q 操作符是destination id,指明请求的是队列状态
-q 列出队列状态,并以alternative 形式显示
-au userid 列出指定用户的所有作业
-B 列出PBS Server 信息
-r 列出所有正在运行的作业
-Qf queue 列出指定队列的信息
-u 若操作符为作业号,则列出其状态。
若操作符为destination id,则列出运行在其上的属于user_list 中用户的作业状态。
例:# qstat -f 211 查询作业号为211 的作业的具体信息。
8. pbs是指什么意思
PBS,也就是美国公共电视网(英语:Public Broadcasting Service,也称公共广播协会或美国公共电视台),是美国的一个公共电视机构,由354个加盟电视台组成,成立于1969年,总部位于维吉尼亚州阿灵顿县,主要制播教育与儿童节目。知名的儿童节目《芝麻街》就是该台制播的。
PBS是一个批处理作业和计算机系统资源管理软件包。它原本是按照POSIX 1003.2d批处理环境来开发的。这样,它就可以接受批处理作业、shell脚本和控制属性,作业运行前对其储存并保护,然后运行作业,并且把输出转发回提交者。
PBS可以被安装并配置运行在单机系统或多个系统组来支持作业处理。由于PBS的灵活性,多个系统可以以多种方式组合。
9. PBS作业管理系统中如何批量删除用户的所有作业
如果批量提交任务后,发现有错误,想要撤回,一个一个撤回太麻烦,如何批量地杀掉指定用户所有的作业呢?
只需如下一条命令就可以:
qselect -u <username> | xargs qdel
10. ANSYS cfx 在Linux系统上的命令行
在.def文件所在的同一个文件夹里编辑.pbs文件,然后键入或者粘贴以下.pbs代码中的命令(把我添加的注释删掉)进去,然后运行qsub test.pbs即可。
#!/bin/sh-f
#PBS-Ncfx_test%作业名称
#PBS-qbatch%作业序列
#PBS-lnodes=cu01:ppn=2+cu05:ppn=2%使用的节点和每个节点使用的核数,cu01需要换成实际的节点名称
#PBS-lwalltime=00:02:00%作业运行时间
##################################################################
#具体路径根据实际情况修改,或者(亲测)直接删掉这几行应该也能运行
source/opt/intel/composer_xe_2015/bin/compilervars.shintel64
source/opt/intel/composer_xe_2015.1.133/mkl/bin/intel64/mklvars_intel64.sh
source/opt/intel/impi/5.0.2.044/intel64/bin/mpivars.sh
########################################################cd$PBS_O_WORKDIR
cat$PBS_NODEFILE>/$PBS_O_WORKDIR/nodefile
input=test.def%所在目录下的.def文件
#注意修改cfx5solve的实际路径
date
#并行运行,串行将-start-method后改成"Serial",后面删掉。
nohup/opt/ansys_inc/v150/CFX/bin/cfx5solve-def$input-double-start-method"HPMPIDistributedParallel"-par-distcu01*2,cu05*2
date
exit