本項では、OCTOPUSに導入されている機械学習系ソフトウェア/ライブラリのジョブスクリプトを公開しております。
ジョブ投入方法については以下のページを御覧ください。
バッチジョブ投入方法
Tensorflow
ジョブスクリプト例
GPUノード群で1時間の計算を実行する場合のジョブスクリプトです。
|
1 2 3 4 5 6 7 8 9 |
#!/bin/bash #PBS -q OCTOPUS #PBS -l elapstim_req=1:00:00,gpunum_job=4 cd $PBS_O_WORKDIR export PATH=/octfs/apl/Anaconda3/bin:$PATH source activate py35tensorflow-gpu export CUDA_PATH=/octfs/apl/CUDA/cuda-9.0 export LD_LIBRARY_PATH=$CUDA_PATH/lib64:$LD_LIBRARY_PATH python test.py |
参考情報
Chainer
ジョブスクリプト例
GPUノード群で1時間の計算を実行する場合のジョブスクリプトです。
|
1 2 3 4 5 6 7 8 9 |
#!/bin/bash #PBS -q OCTOPUS #PBS -l elapstim_req=1:00:00,gpunum_job=4 cd $PBS_O_WORKDIR export PATH=/octfs/apl/Anaconda3/bin:$PATH source activate py35chainer-gpu export CUDA_PATH=/octfs/apl/CUDA/cuda-9.0 export LD_LIBRARY_PATH=$CUDA_PATH/lib64:$LD_LIBRARY_PATH python test.py -g 1 |
参考情報
Theano
ジョブスクリプト例
GPUノード群で1時間の計算を実行する場合のジョブスクリプトです。
|
1 2 3 4 5 6 7 8 9 10 11 12 |
#!/bin/bash #PBS -q OCTOPUS #PBS -l elapstim_req=1:00:00,gpunum_job=4 cd $PBS_O_WORKDIR export PATH=/octfs/apl/Anaconda3/bin:$PATH source activate py35theano export CUDA_PATH=/octfs/apl/CUDA/cuda-9.0 export LD_LIBRARY_PATH=$CUDA_PATH/lib64:$LD_LIBRARY_PATH export THEANO_FLAGS=mode=FAST_RUN,device=cuda export MKL_THREADING_LAYER=GNU python check.py |
参考情報
Torch
ジョブスクリプト例
CPUノード群で1時間の計算を実行する場合のジョブスクリプトです。tutorials/2_supervised/を実行しています。
|
1 2 3 4 5 |
#!/bin/bash #PBS -q OCTOPUS #PBS -l elapstim_req=1:00:00 cd $PBS_O_WORKDIR /octfs/apl/Torch/bin/th ./doall.lua -size small -model linear -batchSize 100 -plot |
参考情報
Caffe(GPU対応版)
ジョブスクリプト例
GPUノード群で1時間の計算を実行する場合のジョブスクリプトです。examples/mnistを実行しています。
|
1 2 3 4 5 6 7 8 |
#!/bin/bash #PBS -q OCTOPUS #PBS -l elapstim_req=1:00:00,gpunum_job=4 cd $PBS_O_WORKDIR export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/octfs/apl/Caffe/.build_release/lib/ export CUDA_PATH=/octfs/apl/CUDA/cuda-9.0 export LD_LIBRARY_PATH=$CUDA_PATH/lib64:$LD_LIBRARY_PATH ./examples/mnist/train_lenet.sh |
