用 tar queue 及 zip queue 備份自己的資料

2013-10-25

tar queue 使用方式

submit job :
```
 qsub tarball.sh 
```
tarball.sh 內容

#PBS –N Make_Tarball
#PBS –q tar
#PBS –l select=1
 
cd $PBS_O_WORKDIR
tar cvf TARFILE.tar 打包的目錄或檔案

會建立 TARFILE.tar 這個檔案
注意:
1. 使用 tar queue (tar 指令操作)會佔滿計算節點的網路資源
2. select 是 1, 超過 1 並不會提升效能(tar是單一線程的指令, 無法分給其他 cpu core 來處理)

zip queue 使用方式

submit job :
```
 qsub mpibzip.sh 
```

mpibzip.sh 內容

#PBS –N mpizip2
#PBS –q zip
#PBS –l select=4
 
. module.sh
module purge
module load intel_poe
cd PBS_O_WORKDIR
mpirun /aracbox/app/mpibzip2 TARFILE.tar

請注意:
1. FAT32 支援最大單檔 4 GB，NTFS 支援最大單檔 16 TB

註: 若要在 submit tar queue 還沒完成時, 要立即 submit zip queue, 可用 -W depend=afterok:JOBID 參數, 這個參數會等前個 JOBID 正常完成結束後, 才會動作
- 例:
  1. 有序列表項目submit tarball.sh
```
qsub tarball.sh
```
    假設會有一個 JOB ID 是 12345.cluster
  2. 再使用 -W depend=afterok:JOBID 參數來 submit mpibzip.sh
```
qsub -W depend=afterok:12345.cluster mpibzip.sh
```
  3. 查看 JOB
```
qstat -an
```
    即可看到等在那裡的 JOB