Anacondaはデータサイエンス向けに作成された、Python向けのディストリビューションです。
本ページでは、Anacondaで自分自身のpython環境(仮想環境)を作成し、必要なソフトウェアをインストール方法を解説します。
Anacondaは、以下のサイトで配布されています。詳細な利用方法はこちらをご参照ください。
Anaconda.com
※Anacondaの利用規約により、産業利用ではご利用いただけませんので、ご注意ください。
利用方法
仮想環境の一覧表示
-
すでに構築済の仮想環境一覧を表示します。
conda info -e
# conda environments:
#
base * /system/apps/rhel8/cpu/Anaconda3/2020.11
仮想環境の新規作成
-
新規に、test-envという仮想環境をユーザ領域に作成する際の手順を示します。
まず、仮想環境の生成先として、work領域配下のconda_envディレクトリを指定します。(特に何も指定しなかった場合、home領域配下の.condaディレクトリで仮想環境が生成され、容量オーバーとなる可能性があります)
conda config --add envs_dirs /sqfs/work/(グループ名)/(利用者番号)/conda_env
conda config --add pkgs_dirs /sqfs/work/(グループ名)/(利用者番号)/conda_pkg
仮想環境test-envを生成します。
conda create --name test-env python=3.8
仮想環境一覧を表示すると、test-envが生成されていることがわかります。
conda info -e
# conda environments:
#
test-env /sqfs/work/group-name/user-name/conda_env/test-env
base * /system/apps/rhel8/cpu/Anaconda3/2020.11
仮想環境の有効化
-
仮想環境test-envを有効にします。
conda activate test-env
仮想環境上でのソフトウェアインストール
-
仮想環境test-envにPythonのライブラリnumpyをインストールします。
計算ノード上から外部への通信はできませんので、必ずログインノードで実施してください。
conda install numpy
仮想環境の無効化
-
仮想環境test-envを無効にします。
conda deactivate
SQUID計算ノードでの利用方法
仮想環境「test-env」を有効化しtest.pyを実行する場合、以下のようなジョブスクリプトを作成してください。
1 2 3 4 5 6 7 |
#!/bin/bash #PBS -q SQUID #PBS --group=(グループ名) #PBS -l elapstim_req=1:00:00 cd $PBS_O_WORKDIR source activate test-env python test.py |
Anaconda 仮想環境で導入したOpenMPI(mpi4py)を複数ノードで利用する場合、以下のようなジョブスクリプトとモジュールファイルを作成してください。モジュールファイルを使って、各ノードにMPIの設定を展開します。
以下は、AnacondaでopenMPIおよびmpi4pyを導入した仮想環境my-conda-envを使って、sample.pyを4ノードで動作させるスクリプト例です。
モジュールファイル例
1 2 3 4 5 6 7 8 |
#%Module 1.0 proc ModulesHelp { } { puts stderr "OMP-sample\n" } prepend-path PATH /sqfs/work/(グループ名)/(利用者番号)/conda_env/my-conda-env/bin prepend-path LD_LIBRARY_PATH /sqfs/work/(グループ名)/(利用者番号)/conda_env/my-conda-env/lib/ setenv MPI_ROOT /sqfs/work/securenet/(グループ名)/(利用者番号)/conda_env/my-conda-env |
ジョブスクリプト例(omp-modulesは上記のモジュールファイル名です)
1 2 3 4 5 6 7 8 9 10 |
#!/bin/bash #PBS -q SQUID #PBS --group=(グループ名) #PBS -l elapstim_req=1:00:00 #PBS -b 4 #PBS -T openmpi #PBS -v NQSV_MPI_MODULE=/sqfs/work/(グループ名)/(利用者番号)/omp-modules cd $PBS_O_WORKDIR source activate my-conda-env mpirun ${NQSV_MPIOPTS} -np 4 -npernode 1 -mca btl_tcp_if_include ib0 python ./sample.py |