Anacondaはデータサイエンス向けに作成された、Python向けのディストリビューションです。
本ページでは、Anacondaで仮想環境を作成し、ソフトウェアインストールする方法を解説します。
Anacondaは、以下のサイトで配布されています。詳細な利用方法はこちらをご参照ください。
Anaconda.com
利用方法
-
ご利用いただく前にパスを設定してください。
export PATH=/octfs/apl/Anaconda3/bin:$PATH
仮想環境の一覧表示
-
すでに構築済の仮想環境一覧を表示します。OCTOPUSにインストールされている機械学習プラットフォームの一部は、Anacondaで構築された仮想環境上にインストールされています。
conda info -e
# conda environments:
#
py35chainer /octfs/apl/Anaconda3/envs/py35chainer
py35chainer-gpu /octfs/apl/Anaconda3/envs/py35chainer-gpu
py35keras /octfs/apl/Anaconda3/envs/py35keras
py35tensorflow /octfs/apl/Anaconda3/envs/py35tensorflow
py35tensorflow-gpu /octfs/apl/Anaconda3/envs/py35tensorflow-gpu
py35theano /octfs/apl/Anaconda3/envs/py35theano
testcaffe /octfs/apl/Anaconda3/envs/testcaffe
仮想環境の新規作成
-
新規に、test-envという仮想環境をユーザ領域に作成する際の手順を示します。
まず、仮想環境の生成先として、work領域配下のconda_envディレクトリを指定します。(特に何も指定しなかった場合、home領域配下の.condaディレクトリで仮想環境が生成され、容量オーバーとなる可能性があります)
conda config --add envs_dirs /octfs/work/(グループ名)/(利用者番号)/conda_env
仮想環境test-envを生成します。
conda create --name test-env python=3.4
仮想環境一覧を表示すると、test-envが生成されていることがわかります。
conda info -e
# conda environments:
#
test-env /octfs/work/syskan/w60020/conda_env/test-env
py35chainer /octfs/apl/Anaconda3/envs/py35chainer
py35chainer-gpu /octfs/apl/Anaconda3/envs/py35chainer-gpu
py35keras /octfs/apl/Anaconda3/envs/py35keras
py35tensorflow /octfs/apl/Anaconda3/envs/py35tensorflow
py35tensorflow-gpu /octfs/apl/Anaconda3/envs/py35tensorflow-gpu
py35theano /octfs/apl/Anaconda3/envs/py35theano
testcaffe /octfs/apl/Anaconda3/envs/testcaffe
以下は、py35tensorflowを複製したmy_py35tensorflowという仮想環境を生成するコマンドです。
conda create -n my_py35tensorflow --clone="/octfs/apl/Anaconda3/envs/py35tensorflow"
仮想環境の有効化
-
仮想環境test-envを有効にします。
source activate test-env
仮想環境上でのソフトウェアインストール
-
仮想環境test-envにPythonのライブラリnumpyをインストールします。計算ノードから外部への通信はできませんので、インストールはフロントエンドノードで実施してください。
conda install numpy
仮想環境の無効化
-
仮想環境test-envを無効にします。
source deactivate test-env
備考:MPI+Pythonの利用方法
-
Anacondaでmpi4pyライブラリを導入することで、MPIを使ったPythonの並列計算が可能です。ただしIntel版をご利用いただく必要があります。手順は以下のとおりです。
conda config --add channels intel # Intelチャンネルを追加
conda create -n mpi4py-env # 仮想環境を作成
source activate mpi4py-env # 仮想環境を有効化
conda install mpi4py # mpi4pyをインストール
ジョブスクリプト例は以下のとおりです。
1 2 3 4 5 6 7 8 9 10 11 |
#!/bin/bash #PBS -q OCTOPUS #PBS -l elapstim_req=2:00:00 #PBS -T intmpi #PBS -b 2 #PBS -v OMP_NUM_THREADS=1 export PATH=/octfs/apl/Anaconda3/bin:$PATH source activate mp4py-env cd $PBS_O_WORKDIR mpirun ${NQSII_MPIOPTS} -np 48 python3 test.py |