1. 如何通過pbs提交materials studio計算任務
如何使用命令行方式提交 MS 的計算作業 Castep: 1. 打開 MS 界面, 建立相關模型, 並且在 Castep 的 Calculatiton 對話框中設置相關參數; 2. 不要單擊 Run 進行 Castep 計算工作,而要在 Calculation 對話框中選擇 Files -> Save Files,此時會在 Project Explorer 中出現一個新的目錄,其中包括了使用命令行運行 Castep 的輸入文件; 3. 使用 Windows 的文件管理器進入該目錄(相關 Project 名稱.files\Documents 下), 能夠 看到所需要的輸入文件。 注意,由於 castep 計算所需的.cell 文件是隱藏文件,因此需要在「工具|文件夾選項」 中選擇「顯示隱藏文件」 。 將以下文件拷貝到 SGI Prism 的相關路徑下, *.cell、*.param。 此外,需要將計算所需的贗勢文件拷貝到 SGI Prism 相關路徑下。 (在 CASTEP | Calculation | Electronic 的 more 下 Potential 中可以看到所使用的贗 勢 文 件 , 該 文 件 的 路 徑 在 Windows 系 統 的 <MS 安 裝 路 徑 >\MS Modeling 3.2\Data\Resources\Quantum\Castep\Potentials 中,請將所出現的贗勢文件全部拷貝到 SGI Prism 機器上,否則會導致計算失敗) 4. 使用帳號登陸到 SGI Prism 下,進入相關文件夾(文件夾中包括剛才所有的文件) , 並執行命令: > chmod 777 *.* > /home/msi/ms/CASTEP/bin/RunCASTEP.sh -np n seedname 註:-np 表示使用多 CPU 進行並行運算; n 表示所使用的 CPU 數目 seedname 表示計算作業的名稱, 例如相關參數文件為 Al.param, Seedname 則 為 Al,不帶後綴名 5. 計算完成後,請將該目錄中所有的文件下載到本地機器上,並放到剛才在 Visualizer 下新建的目錄中; 6. 在 Visualizer 的 Project Explorer 中單擊右鍵,選擇刷新,即可看到剛才所有計算得 到的結果,並可在 MS 中進行分析。 DMol3 1. 打開 MS 界面, 建立相關模型, 並且在 DMol 的 Calculatiton 對話框中設置相關參數; # 2. 不要單擊 Run 進行 DMol 計算工作,而要在 Calculation 對話框中選擇 Files -> Save Files,此時會在 Project Explorer 中出現一個新的目錄,其中包括了使用命令行運行 DMol3 的輸入文件; 3. 使用 Windows 的文件管理器進入該目錄(相關 Project 名稱.files\Documents 下), 能夠 看到所需要的輸入文件。 注意,由於 DMol3 計算所需的.car 和.mdf 文件是隱藏文件,因此需要在「工具|文件 夾選項」中選擇「顯示隱藏文件」 。
2. TOOLs:slurm集群的使用
目前用過的集群系統有PBS/qsub系統,感覺是命令簡單,容易上手。
現在使用的是SLURM系統,
SLURM系統常用命令如下:
注意把 username 替換成你自己的賬戶名
1.常用的查看、取消、運行命令
任務狀態碼說明:PD排隊;R運行;S掛起;CG正在退出
中心的伺服器node01大節點,80核,500G mem,node02-09小節點,56核,120G mem。
當提交的任務的cpu數量超過node的總cpu數量時候,任務可以被正常提交,但是無法被執行。
2.test.s的內容和參數
注意:partition需要自己查看自己的伺服器的分區名稱,使用 sinfo 命令可以查看到。
參考1 PBS和slurm的命令對比
3. 為什麼用linux中的vi命令打開pbs文件,只顯示文件的後幾行,前幾行不顯
使用 gg 命令跳轉到第一行試試。
4. PBS腳本 提交任務
#如何在linux下創建一個可運行shell腳本
#新建一個.sh文件
touch cellranger.count.sh
#編輯test.sh文件
vi test.sh
#鍵入i,輸入內容;#!/bin/sh必須放在第一行;然後鍵入esc鍵,輸入:wq保存退出
#給test.sh賦予可執行許可權
chmod +x test.sh
#執行腳本
sh test.sh
PBS 腳本格式 :PBS腳本為.pbs文件,將提交任務的命令寫在PBS腳本中提交,PBS腳本由抬頭的任務詳情和具體命令組成:
抬頭任務詳情格式:
#PBS -N myjob
#PBS -o /home/jz/my.out
#PBS -e /home/jz/my.err
#PBS –l nodes=2:ppn=1
#########################創建自己的
這里的#不是注釋的意思
#PBS -N cellranger.f
#PBS -o /home/yifan/project/LJ.22.02.sc/cellranger/my.out
#PBS -e /home/yifan/project/LJ.22.02.sc/cellranger/my.err
#PBS –l nodes=2:ppn=1
cd /home/yifan/project/LJ.22.02.sc
for id in KOAC KONC WTAC WTNC
do
/home/yifan/software/cellranger-6.1.2/cellranger count --localcores=40 --localmem=120 --id=${id}2 --transcriptome=/home/yifan/data/ref/cellranger.mm10/refdata-gex-mm10-2020-A --nosecondary --fastqs=/home/yifan/project/LJ.22.02.sc --sample=${id}
done
一般格式:qsub + 腳本名稱,
如:qsub myname.pbs
cd /home/yifan/project/LJ.22.02.sc
qsub cellranger.count.sh
65690.mu01 #給出了任務號
命令格式:qatat[-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]
qstat -an
參數說明:
-f jobid 列出指定作業的信息
-a 列出系統所有作業
-i 列出不在運行的作業
-n 列出分配給此作業的結點
-s 列出隊列管理員與scheler 所提供的建議
-R 列出磁碟預留信息
-Q 操作符是destination id,指明請求的是隊列狀態
-q 列出隊列狀態,並以alternative 形式顯示
-au userid 列出指定用戶的所有作業
-B 列出PBS Server 信息
-r 列出所有正在運行的作業
-Qf queue 列出指定隊列的信息
-u 若操作符為作業號,則列出其狀態。
若操作符為destination id,則列出運行在其上的屬於user_list中用戶的作業狀態。
例:# qstat -f 211 查詢作業號為211 的作業的具體信息。
5. Linux/超算中PBS常用命令
新手,純純搬運工【出處引用自: https://www.guanjihuan.com 】
1. Linux常用命令
最常用:
ls(英文全拼:list files):列出目錄及文件名
ls -l:列出目錄及文件名,可查看更多
ls -al:可以看到隱藏文件
cd(英文全拼:change directory):切換目錄
cd .. :返回上一級
cd 文件夾名:進入目錄
pwd(英文全拼:print work directory):顯示目前的目錄
mkdir 文件夾名(英文全拼:make directory):創建一個新的目錄
rmdir 文件夾名(英文全拼:remove directory):刪除一個空的目錄
cp xxx xxx(英文全拼: file): 復制文件或目錄
mv xxx xxx(英文全拼:move file): 移動文件或目錄,或修改文件或目錄的名稱
rm(英文全拼:remove): 刪除文件
rm -r 文件夾名:遞歸刪除某目錄
clear:清空terminal的所有內容(或者使用Ctrl+L)
tab按鍵:補充完整文件名或文件夾名
次常用:
vim/vi 某文件 (編輯文件)
nano 某文件 (編輯文件)
touch 文件 (新建空文件)
sudo -s (切換到root模式)
exit (退出root模式等)
sudo chmod -R 755 文件名/文件夾名 (獲取文件/文件夾的755許可權)
chown [用戶] [文件或目錄] (改變文件或目錄的所有者)
chgrp [用戶組] [文件或目錄] (改變文件或目錄的所屬組)
make (編譯成.exe)
解壓/解包:
tar文件 (註:tar是打包,不是壓縮!)
解包:tar xvf FileName.tar
打包:tar cvf FileName.tar DirName
.gz文件
解壓1:gunzip FileName.gz
解壓2:gzip -d FileName.gz
壓縮:gzip FileName
.tar.gz 和 .tgz文件
解壓:tar zxvf FileName.tar.gz
壓縮:tar zcvf FileName.tar.gz DirName
安裝和卸載deb軟體包:
安裝:sudo dpkg -i deb文件
查看:sudo dpkg -l
卸載:sudo dpkg -r 軟體名
參考資料:
[1] Linux 教程
[2] Linux常用命令
[3] linux中tar命令的用法
[4] 全網最全Linux命令總結
2. vim/vi里的操作
:q 退出
:wq 保存並退出
:w 保存
:q! 強行退出(不保存退出)
:w! 強行保存
i 進入編輯,轉為輸入模式(游標前面)
a 進入編輯,轉為輸入模式(游標後面)
o 進入編輯,轉為輸入模式(游標下方新建一行)
Esc 退出i(插入)命令
3. 超算中PBS常用命令
pbsnodes (查看所有節點)
pbsnodes -l free (查看空閑節點)
pbsnodes 某節點 (查看某節點狀態)
ssh 某節點 (轉到某節點)
exit (離開節點)
qsub 文件名.pbs/sh (提交任務)
qstat (列出狀態)
qstat -q (列出隊列)
qstat -n (列出隊列中使用的節點)
qstat -f jobid (查看jobid任務的詳細信息)
qdel jobid (取消任務)
4. 其他
(1)Linux開機自啟
sh文件中包含:
#!/bin/bash#chkconfig: 2345 80 90#description:auto_run
sh文件移動到/etc/init.d後,分別輸入命令:
chkconfig --add xxx.sh
chkconfig --list
chkconfig xxx.sh on
service xxx.sh start
參考資料: linux 開機啟動 .sh 文件 - 自己的太陽 - 博客園
(2)Linux環境變數
方法1:臨時使用環境變數:export PATH="/home/www/anaconda3/bin:$PATH"
方法2:修改.bashrc文件
參考資料: Linux PATH 作用以及查看和修改方法_haozhepeng的專欄
(3)兩個sh文件
a.sh文件(用於提交任務,執行a.py文件)
#!/bin/sh#PBS -N task#PBS -l nodes=1:ppn=1#PBS -q scorecd $PBS_O_WORKDIRexport OMP_NUM_THREADS=1python a.py
a.sh文件(用於提交任務,執行a.exe文件)
#!/bin/sh#PBS -N task#PBS -l nodes=1:ppn=1#PBS -q scorecd $PBS_O_WORKDIRexport OMP_NUM_THREADS=1./a.exe
(4)一個makefile文件
makefile文件(用於編譯Fortran文件)
INC := -I/public/software/compiler/intel/composer_xe_2015.2.164/mkl/include/intel64/lp64
LIB := -L/public/software/compiler/intel/composer_xe_2015.2.164/mkl/lib/intel64
mpi:= -I/public/software/mpi/mpich/3.1.4/intel/include /public/software/mpi/mpich/3.1.4/intel/lib -lmpich -limf -lsvml -lintlc
src:=Console1exec:=a
all: $(src).f90
ifort $(src).f90 $(INC) $(LIB) -openmp -lmkl_intel_lp64 -Wl,--start-group -lmkl_intel_thread -lmkl_lapack95_lp64 -lmkl_core -lmkl_blas95_lp64 -Wl,--end-group -liomp5 -lpthread -O2 -o $(exec).exe
6. 主板bios里的PBS是什麼
PBS是一個批處理作業和計算機系統資源管理軟體包。
它原本是按照POSIX1003.2d批處理環境來開發的。這樣,它就可以接受批處理作業、shell腳本和控制屬性,作業運行前對其儲存並保護,然後運行作業,並且把輸出轉發回提交者。
PBS可以被安裝並配置運行在單機系統或多個系統組來支持作業處理。由於PBS的靈活性,多個系統可以以多種方式組合。
PBS的組件:PBS包括四個主要的組件:命令組件、作業伺服器、作業執行組件和作業調度器。這里給出每一部分的簡要描述來幫助你在安裝過程中做出決定。
7. 在linux系統里qstat是什麼意思
qstat 不是linux命令,此命令用於PBS公開源代碼的作業管理系統。
qstat 命令—用於查詢作業狀態信息
命令格式:qatat [-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]
參數說明:
-f jobid 列出指定作業的信息
-a 列出系統所有作業
-i 列出不在運行的作業
-n 列出分配給此作業的結點
-s 列出隊列管理員與scheler 所提供的建議
-R 列出磁碟預留信息
-Q 操作符是destination id,指明請求的是隊列狀態
-q 列出隊列狀態,並以alternative 形式顯示
-au userid 列出指定用戶的所有作業
-B 列出PBS Server 信息
-r 列出所有正在運行的作業
-Qf queue 列出指定隊列的信息
-u 若操作符為作業號,則列出其狀態。
若操作符為destination id,則列出運行在其上的屬於user_list 中用戶的作業狀態。
例:# qstat -f 211 查詢作業號為211 的作業的具體信息。
8. pbs是指什麼意思
PBS,也就是美國公共電視網(英語:Public Broadcasting Service,也稱公共廣播協會或美國公共電視台),是美國的一個公共電視機構,由354個加盟電視台組成,成立於1969年,總部位於維吉尼亞州阿靈頓縣,主要制播教育與兒童節目。知名的兒童節目《芝麻街》就是該台制播的。
PBS是一個批處理作業和計算機系統資源管理軟體包。它原本是按照POSIX 1003.2d批處理環境來開發的。這樣,它就可以接受批處理作業、shell腳本和控制屬性,作業運行前對其儲存並保護,然後運行作業,並且把輸出轉發回提交者。
PBS可以被安裝並配置運行在單機系統或多個系統組來支持作業處理。由於PBS的靈活性,多個系統可以以多種方式組合。
9. PBS作業管理系統中如何批量刪除用戶的所有作業
如果批量提交任務後,發現有錯誤,想要撤回,一個一個撤回太麻煩,如何批量地殺掉指定用戶所有的作業呢?
只需如下一條命令就可以:
qselect -u <username> | xargs qdel
10. ANSYS cfx 在Linux系統上的命令行
在.def文件所在的同一個文件夾里編輯.pbs文件,然後鍵入或者粘貼以下.pbs代碼中的命令(把我添加的注釋刪掉)進去,然後運行qsub test.pbs即可。
#!/bin/sh-f
#PBS-Ncfx_test%作業名稱
#PBS-qbatch%作業序列
#PBS-lnodes=cu01:ppn=2+cu05:ppn=2%使用的節點和每個節點使用的核數,cu01需要換成實際的節點名稱
#PBS-lwalltime=00:02:00%作業運行時間
##################################################################
#具體路徑根據實際情況修改,或者(親測)直接刪掉這幾行應該也能運行
source/opt/intel/composer_xe_2015/bin/compilervars.shintel64
source/opt/intel/composer_xe_2015.1.133/mkl/bin/intel64/mklvars_intel64.sh
source/opt/intel/impi/5.0.2.044/intel64/bin/mpivars.sh
########################################################cd$PBS_O_WORKDIR
cat$PBS_NODEFILE>/$PBS_O_WORKDIR/nodefile
input=test.def%所在目錄下的.def文件
#注意修改cfx5solve的實際路徑
date
#並行運行,串列將-start-method後改成"Serial",後面刪掉。
nohup/opt/ansys_inc/v150/CFX/bin/cfx5solve-def$input-double-start-method"HPMPIDistributedParallel"-par-distcu01*2,cu05*2
date
exit