miniforgeのインストール方法
-
miniforgeをSQUIDのwork領域にインストールする方法を解説します。
1. SQUIDにログインし、以下の手順を実施してください。ここではminiforgeのインストール先のディレクトリを /sqfs/work/(グループ名)/(利用者番号)/miniforgeとしています。適宜ご自身のディレクトリ名に置き換えてください。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh bash ./Miniforge3-Linux-x86_64.sh # #以降、表示されるプロンプトに従ってインストールを進めてください # # Do you accept the license terms? [yes|no] # → 利用規約への同意 # yes # Miniforge3 will now be installed into this location: # → インストール先の指定 # /sqfs/work/(グループ名)/(利用者番号)/miniforge を指定 # Do you wish to update your shell profile to automatically initialize conda? # → miniforgeの初期化 # yes |
2. miniforgeの利用に必要な環境変数などを設定します。次回以降の設定は不要です。
1 2 3 4 5 |
/sqfs/work/(グループ名)/(利用者番号)/miniforge/bin/conda init # インストール時にminiforgeの初期化→yesとされましたら不要です source ~/.bashrc conda config --add envs_dirs /sqfs/work/(グループ名)/(利用者番号)/conda_env conda config --add pkgs_dirs /sqfs/work/(グループ名)/(利用者番号)/conda_pkg conda config --set auto_activate_base False |
※conda initを実施することで~/.bashrcが更新されますが、すでにconda系のソフトウェアをインストール済の場合、~/.bashrcが正しく更新されない場合があります。その場合、.bashrcを編集し、「# >>> conda initialize >>>」から「# <<< conda initialize <<<」までの行を削除し、あらためてconda initを実施してください。
※default channelは利用できませんので、もしchannel登録されている場合は conda config --remove channels defaults を実施して削除してください。
miniforgeの利用方法
仮想環境の一覧表示
-
すでに構築済の仮想環境一覧を表示します。
conda info -e
# conda environments:
#
base /sqfs/work/(グループ名)/(利用者番号)/miniforge
仮想環境の新規作成
-
新規に、test-envという仮想環境をユーザ領域に作成する際の手順を示します。
まず、仮想環境の生成先として、work領域配下のconda_envディレクトリを指定します。(特に何も指定しなかった場合、home領域配下の.condaディレクトリで仮想環境が生成され、容量オーバーとなる可能性があります)
conda config --add envs_dirs /sqfs/work/(グループ名)/(利用者番号)/conda_env
conda config --add pkgs_dirs /sqfs/work/(グループ名)/(利用者番号)/conda_pkg
仮想環境test-envを生成します。
conda create --name test-env python=3.8
仮想環境一覧を表示すると、test-envが生成されていることがわかります。
conda info -e
# conda environments:
#
test-env * /sqfs/work/(グループ名)/(利用者番号)/conda_env/test-env
base /sqfs/work/(グループ名)/(利用者番号)/miniforge
仮想環境の有効化
-
仮想環境test-envを有効にします。
conda activate test-env
仮想環境上でのソフトウェアインストール
-
仮想環境test-envにPythonのライブラリnumpyをインストールします。
計算ノード上から外部への通信はできませんので、必ずログインノードで実施してください。
conda install numpy
仮想環境の無効化
-
仮想環境test-envを無効にします。
conda deactivate
例:miniforgeでPytorchを利用する方法
仮想環境 pytorch-envを作成し有効化します。
conda create --name pytorch-env python=3.12
conda activate pytorch-env
Pytorchの公式ページを参考に、Conda PackageかつCUDA11系に対応したPytorchをインストールします。
2024年8月時点では以下のようになります。
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
SQUID計算ノードでの利用方法
-
仮想環境「test-env」を有効化しtest.pyをSQUID GPUノード1ノードで実行する場合、以下のようなジョブスクリプトを作成してください。
1 2 3 4 5 6 7 8 |
#!/bin/bash #PBS -q SQUID #PBS --group=(グループ名) #PBS -l elapstim_req=1:00:00,gpunum_job=8 cd $PBS_O_WORKDIR source ~/.bashrc conda activate test-env python test.py |
2ノードで実行する場合は、以下のようなジョブスクリプトを作成してください
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
#!/bin/bash #PBS -q SQUID #PBS --group=(グループ名) #PBS -b 2 #PBS -l gpunum_job=8 #PBS -l elapstim_req=01:00:00 cd $PBS_O_WORKDIR source ~/.bashrc conda activate test-env echo "===================" MASTER_NODE=`head -1 ${PBS_NODEFILE}` USE_PORT=12321 HOSTNAME=`hostname -s` echo "-------------------" echo "HOSTNAME =[${HOSTNAME}] MASTER_NODE=[${MASTER_NODE}] USE_PORT=[${USE_PORT}]" echo "===================" python -m torch.distributed.launch --nnodes=2 --nproc-per-node=8 --rdzv-id=100 --rdzv-backend=c10d --rdzv-endpoint=${MASTER_NODE}:${USE_PORT} test.py |