2026.08.26
Linux環境では、OpenSSHの接続共有機能（ControlMaster / ControlPersist）を利用して、認証済みのSSH接続を一定時間再利用できます。
~/.ssh/config に以下を追記してください。
|
|
Host squidhpc.hpc.cmc.osaka-u.ac.jp squidhpda.hpc.cmc.osaka-u.ac.jp octopus.hpc.osaka-u.ac.jp ControlMaster auto ControlPath ~/.ssh/control-%C ControlPersist 60m |
最初の接続時は、通常どおり2段階認証が必要です。
最後のSSH接続を終了した後も認証済みの接続が最大60分間保持され、その間の再接続では認証済みの接続が再利用されます。
注意事項
- ・本FAQの手順はLinux環境を対象としています。Windowsで利用する場合は、WSL等のLinux環境をご利用ください。
- ・
ControlPersist の保持時間は60分以内に設定することを推奨します。
- ・共有端末では、認証済みのSSH接続が端末上でバックグラウンドに保持されるため、
ControlPersist の使用は推奨しません。
- ・保持時間の経過後、または保持されている接続が終了した場合は、次回接続時に再度2段階認証が必要です。
補足：保持中の接続を終了する場合
ControlPersist により保持されているSSH接続を、保持時間の経過前に終了したい場合、
ターミナルのウィンドウを閉じるだけでは、認証済みのSSH接続がバックグラウンドに保持されることがあります。
保持中の接続を明示的に終了する場合は、利用しているLinux環境を終了するか、以下のコマンドを実行してください。
このコマンドを実行すると、指定したホストに対して保持されているSSH接続が終了します。
次回SSH接続時には、再度2段階認証が必要です。
2024.04.23
特定のサブルーチンに対してVH CALLを使用することで、VHでの計算が可能です。詳細な手順は以下のAurora Forumに掲載しておりますので、ご一読ください。
libvhcall-fortran
動作確認を実施いただくための簡易プログラムを以下に用意しております。
VH CALL動作確認用プログラム
コンパイル方法
module load BaseVEC/2024
sh comp.sh
投入方法(投入前にrun.shを編集しgroupの指定を変更してください)
qsub run.sh
2024.04.18
汎用CPUノード単位の最大メモリ使用量は「qstat -Jf」を定期的に実行することで採取可能です。
qstat -Jf でジョブが使用しているメモリcgroupサイズ（Memory Cgroup Resources）のうち、「Memory Usage」が現在のメモリ使用量、「Max Memory Usage」が最大メモリ使用量を表しています。
2023.06.26
SQUIDでは、acstatコマンドを使って過去に実行したジョブの経過時間を取得可能です。メモリ使用量については取得できませんので、以下のお問い合わせフォームからご連絡くださいませ。
OCTOPUSについては、経過時間・メモリ使用量ともに取得できません。同じく、以下のお問い合わせフォームからご連絡くださいませ。
お問い合わせフォーム
2022.12.09
OpenMPIについては独自にインストールしてご利用することが可能です。
MPIのパスを記載したmoduleファイルを作成してください。
|
|
#%Module 1.0 # # OMP-sample # proc ModulesHelp { } { puts stderr "OMP-sample\n" } prepend-path PATH /sqfs/work/(MPIインストール先)/bin prepend-path LD_LIBRARY_PATH /sqfs/work/(MPIインストール先)//lib/ setenv MPI_ROOT /sqfs/work/(MPIインストール先)/ |
ジョブスクリプトの中で以下のようにmoduleファイル指定してください。
|
|
#PBS -T openmpi #PBS -v NQSV_MPI_MODULE=moduleファイルへの(フルパス) |
2022.10.24
比較的簡単に実施できる方法を2点ご紹介いたします。
ブラウザで共有したファイルを確認・操作いただく場合は、ONION-fileを併用する(1)の手順となります。
S3コマンドで共有したファイルを確認・操作いただく場合は(2)の手順となります。(1)と(2)は併用可能です。
(1)ONION-objectとONION-fileを組み合わせて共有する場合
ONION-objectのバケットをONION-fileで連携し、アクセス用のURLを発行して共有します。
- ONION-objectにて共有するバケットを作成してください。手順はこちらをご参照ください。
- ONION-fileにログインし、ONION-objectで作成したバケットを連携してください。手順はこちらをご参照ください。※ONION-fileへアクセスするアカウントは、スパコンの利用者番号です。連携時にアクセスキーが必要になります。こちらの手順で作成してください。
- 連携したバケットにてファイル共有機能を使用し、共有用のURLを発行してください。手順はこちらをご参照ください。URLからダウンロードやアップロードが可能です。
(2)ONION-objectだけで共有する場合
ONION-objectのバケットに対して任意のグループ/アカウントにアクセス権を付与します。
- ONION-objectにて、共有相手のアカウントを発行してください。手順はこちらをご参照ください。その後、共有するバケットを作成してください。手順はこちらをご参照ください。
- バケットのアクセス権を設定します。バケット名右側のプロパティを選択→個別アクセス権→「＋新規追加」を選択し、グループ・ユーザー欄に、共有相手のユーザアカウントを指定します。書式はGroup|Userといったように、|で区切ります。（例えば、グループがGROUP-123でアカウント名がUSER-456でしたらGROUP-123|USER-456と記載してください）
必要に応じて、読み出し可能/書き出し可能のチェックボックスにチェックを入れてください。アクセス権を付与したユーザからバケットが見れるようになります。
ただし、共有相手側のONION-object管理画面には、共有したバケットは表示されず、自分自身のバケットしか見れません。基本的に、共有相手側はS3コマンドで確認いただくことになります。S3コマンドの操作はこちらをご参照ください。
2022.10.13
本エラーは、書式なしの入出力文の並びに配列が指定されており、その配列サイズが大きい場合に発生するエラーです。
以下のコンパイラオプション、実行時環境変数を指定して実行いただくことで特定可能です。
★のように、エラーの出たファイルと行数が表示されます。
例)
$ nfort main.f90 -g -traceback=verbose
$ export VE_TRACEBACK=VERBOSE
$ ./a.out
Runtime Error: Cannot allocate memory for environment variable VE_FORT_UFMTENDIAN.
Program terminated by fatal error
[ 0] 0x600c00a58910 ? ?:?
[ 1] 0x600c00a51b38 ? ?:?
[ 2] 0x600c00cd4c78 ? ?:?
[ 3] 0x60000001f850 MAIN main.f90:28 ★
[ 4] 0x60000001fc80 ? ?:?
[ 5] 0x600c02a407a8 ? ?:?
[ 6] 0x600000002d00 ? ?:?
2022.10.13
wandbについてはpipコマンドにてインストール可能です。
pip install wandb
wandb login "XXXX"
SQUIDでは原則計算ノードからのインターネットアクセスを許可しておりませんが、wandbに限定して許可しています。
以下のようにジョブスクリプトを記述してください。
#!/bin/bash
#PBS -q SQUID
#PBS --group=[グループ名]
#PBS -l elapstim_req=1:00:00
cd $PBS_O_WORKDIR
export http_proxy="http://ibgw1f-ib0:3128"
export https_proxy="http://ibgw1f-ib0:3128"
python test.py
requests-2.24を使用してください。2.26等のバージョンについては、SQUIDで正常に動作しません。
2022.01.18
SQUIDでは環境変数 $NQSII_MPIOPTS / $NQSV_MPIOPTによって、#PBS -l cpunum_jobで指定した値を元に、machinefileを自動生成しMPIに設定しています。ppn, rr, prehostといったオプションはmachinefileと同時に指定することが出来ないため、仮に128 MPIプロセス / 1ノードあたり64プロセス割り当てることを想定し、以下のように指定したとしても、ppn オプションは無効となります。
mpirun ${NQSV_MPIOPTS} -np 128 -ppn 64 ./a.out
基本的には以下のように指定いただくことで、128 MPIプロセスを生成し、1ノードあたり64プロセス割り当てることが可能です。
#PBS -l cpunum_job=64
(中略)
mpirun ${NQSV_MPIOPTS} -np 128 ./a.out
環境変数 $NQSV_MPIOPTS は、以下のオプションとファイルが指定されています。
-machinefile /var/opt/nec/nqsv/jsv/jobfile/[リクエストID等の数値]/mpinodes
mpinodesファイルはマシンファイルとなっており、上記の場合は以下のようなホスト名、コア数が指定されています。
host001:64
host002:64
ただし、より細かくプロセス配置を指定したい場合（例えばピニングを設定し特定のコアにプロセスを使用せずに計算する場合など）上記のオプションでは対応出来ないケースがあります。ppn, rr, prehostオプションを使用する場合は、環境変数 $NQSII_MPIOPTS / $NQSV_MPIOPT を指定する代わりにhostfileオプションと環境変数 $PBS_NODEFILE を指定してください。128 MPIプロセスを生成し、1ノードあたり64プロセス割り当てる場合は以下のように指定します。
mpirun -hostfile ${PBS_NODEFILE} -np 128 -ppn 64 ./a.out
※PBS_NODEFILEを使う場合、#PBS -l cpunum_jobで指定した値がMPIに設定されません。ご自身でプロセス数の確認をお願いします。また、OCTOPUSではご利用いただけません。
2021.11.26
以下のコマンドで取得可能です。ジョブスクリプトの最後で実行してください。
$ nvidia-smi --query-accounted-apps=timestamp,gpu_name,gpu_bus_id,gpu_serial,gpu_uuid,vgpu_instance,pid,time,gpu_util,mem_util,max_memory_usage --format=csv
出力例は以下のとおりです。最後に記載されている523MiBがGPUで使用した最大メモリサイズです。
2021/11/24 19:26:26.333, A100-SXM4-40GB, 00000000:27:00.0, 1564720026417, GPU-a3b25bed-7bb1-cbd8-89e3-3f14b6118874, N/A, 761279, 117202 ms, 2 %, 0 %, 523 MiB
ジョブクラス「SQUID-S」を使用している場合は、同じノード内で別の方のジョブが実行されている場合があるため、正しい値が取得されない可能性があります。予めご了承ください。
2021.11.08
2段階認証コードのリセットには管理者の操作が必要となりますので、お問い合わせフォームからお知らせください。その際、氏名、利用者番号、メールアドレスは登録時のものを記入してください。2段階認証のリセット時にパスワードもあわせて初期化いたしますので、予めご了承ください。
お問い合わせフォーム
アカウントの所有者が卒業してしまった等、本人からの連絡が難しい場合に限り、当該アカウントに登録されている指導教員またはグループの申請代表者からの2段階認証リセットの依頼にも対応します。
