フロントエンドサーバのstacksizeの制限を超過している可能性があります。
標準でははstacksize 10240 kbytesとなっておりますので、任意の値に変更し、再度コンパイルを試みてください。
stacksizeは、下記のコマンドで変更可能です。
limit stacksize (任意の値) kbytes
この対応でも改善しない場合、こちらで調査しますので、下記よりお問い合わせください。
お問い合わせフォーム
SQUID ベクトルノードで実行するNEC MPIにおいて標準出力をリダイレクトする場合は、「/opt/nec/ve/bin/mpisep.sh」スクリプトをご利用ください。
MPIを実行する際、ジョブスクリプトに
|
1 2 |
#PBS -v MPISEPSELECT=3 mpirun -np 160 /opt/nec/ve/bin/mpisep.sh ./a.out |
と指定していただくと、標準出力はstdout.0:(MPIプロセスID)、標準エラー出力はstderr.0:(MPIプロセスID)へリアルタイムで出力されます。
これらの詳しい解説は、下記「NEC MPIユーザズガイド」の3.3 MPI プロセスの標準出力 および 標準エラー出力 に記載されております。
NEC MPIユーザズガイド
上記のスクリプトをそのまま使用した場合、stdout/stderrというファイル名になってしまいますが、ご自身でmpisep.shを修正いただくと、任意の名前に変更することも可能です。
エラーの詳細（一例）
Attempting to connect to license server
Received license from server
Checking hostid 0
OM(Root) -> X Error of failed request: BadValue (integer parameter out of range for operation)
Major opcode of failed request: 150 (GLX)
Minor opcode of failed request: 3 (X_GLXCreateContext)
Value in failed request: 0x0
Serial number of failed request: 4664
Current serial number in output stream: 4666
このエラーが出力される場合は、起動時に-nohwを引数に追加して、ソフトウェアレンダラーモードでの起動をお試しください。
起動例
avs -nohw
以下の環境変数を設定することでも可能です。
XP_DEFAULT_RENDERER=SW
この方法で改善しない場合は、下記のWEBフォームよりご連絡くださいませ。
標準出力ファイル、標準エラー出力ファイルは、umaskコマンドで指定したパーミッションに従い、出力されます。フロントエンド上でumaskコマンドを実行し、指定してください。
承ください。
ノード時間を残高以上に使用した場合(ノード時間を使い過ぎてしまった場合)に、そのような表記になります。
※当センターではノード時間を1日に1度取得しますので、ノード時間の残高以上の計算も実行できてしまいます。
たとえば、8月1日時点で、usage_viewは下記のような表示だったとします。残りノード時間(remaining)は200ノード時間です。
[ SX-ACE ]
shared use : 300 / 500 node-hour (remaining : 200 node-hour)
仮に、8月1日にSX-ACEで20ノードを使った、15時間のジョブを実行したとしますと、計300ノード時間を消費することになります。
8月2日のusage_viewは下記のようになり、残りノード時間(remaining)に負の値が表示されます。
[ SX-ACE ]
shared use : 600 / 500 node-hour (remaining : -100 node-hour)
使いすぎてしまった分については、改めて料金を請求することはございませんので、ご安心くださいませ。
ただし、もし年度中に「資源追加」された場合は、使い過ぎてしまったノード時間分を追加分から差し引いて処理することになりますので、ご了承くださいませ。
年度を越えた際に、使用されたノード時間の情報は全てリセットされます。
qstatやsstatコマンドは実行中にライセンスを消費します。
平常利用においては、十分なライセンスを確保しておりますが、短い周期で定期実行されますと、ライセンスが不足し、他の利用者が利用できない状態に陥る可能性があります。
定期的な実行はできるだけお控えいただき、もしどうしても必要ということでしたら10分周期程度でご利用いただきますよう、よろしくお願いいたします。
システムを利用中の方については、センター側でデータを削除することはありません。
「ディスク容量の超過」についてですが、ディスクの容量は、基本的に「quota」という、Linuxのグループやユーザ毎にディスクを割り当てる機能を使っております。「quota」で決められた容量を超過しそうな場合は、対象の領域(この場合ext領域)について、新規のディスク書き込みができない状態になります。閲覧・削除等は可能です。
新規のディスク書き込みが出来なくなりますので、Writeを行うようなジョブは全てエラーとなってしまいます。ご注意ください。
申し込み時期にかかわらず、年度末までとなります。翌年度もご利用いただく場合は、継続申請時にディスク容量追加の申請が必要となります。
申請代表者様は、その申請枠内(同一グループ内)で利用者を追加登録することができます。
詳細については下記をご参照くださいませ。
利用者様の方で、ご自身のディスク領域に対して、特定のライブラリやアプリケーションをインストールされる場合、許可は不要です。(管理者権限を要しない場合は、許可不要です。)
センター側でのインストールを希望する場合は、下記のお問い合わせフォームよりご連絡くださいませ。(管理者権限を要する場合は、ご連絡ください。)
お問い合わせフォーム
ライブラリやアプリケーションの内容によっては、お断りする場合や、利用者様自身でのインストールをお願いする場合がございます。あらかじめご了承くださいませ。
ワークフロー実行機能あるいはリクエスト連携機能を使用することで可能です。
ワークフロー実行についての詳細は下記マニュアルの7.ワークフローをご参照くださいませ。
リクエスト連携機能については下記マニュアルの1.2.22. リクエスト連携機能をご参照くださいませ。
NQS利用の手引き
リクエスト連携機能とではアサインされるタイミングが異なります。ワークフローの場合、投入後すぐに全リクエストがアサイン対象になりますが、リクエスト連携機能の場合、前のリクエストの実行が完了した時点でアサインされます。そのため、混んでいる場合にはワークフローの方が早く実行される可能性があります。
プライマリセンターから発行されるアカウントです。HPCIが提供するシングルサインオンを行う際に必要となります。
大阪大学サイバーメディアセンターをプライマリセンターに指定している場合は、利用者番号という形でお知らせしております。
資源提供機関(利用する計算機を運用する機関)から発行されるアカウントです。計算機を利用する際に必要になるアカウントになります。
（HPCIアカウントを使ったシングルサインオンでも計算機を利用可能です）
大阪大学サイバーメディアセンターの計算機を使用する場合は、利用者番号という形でお知らせしております。
これらについての詳細は下記のページをご参照ください。
HPCIポータルサイト
下記の場合、HPCIアカウントとローカルアカウントは同じものを割り当てます。ご注意くださいませ。
プライマリセンター：大阪大学サイバーメディアセンター
資源提供機関：大阪大学サイバーメディアセンター
ほぼ全ての環境変数は、#PBS -v によってMPIスレーブノードに対しても指定することができますが、いくつかの環境変数はスケジューラNQSIIの標準機能(#PBS -v)で指定することが出来ません。PATHもその一つになります。指定できない環境変数については下記マニュアルの1.16 qsub(1)をご参照ください。
NQSII 利用の手引き(OCTOPUS)
NQSV 利用の手引き(SQUID)
MPI実行時オプションをご利用いただくことで、これらの環境変数をスレーブノードに対して設定することが可能です。
多くの擬似乱数生成関数は指定した初期値(random seed)に対して、ある一定の規則に基づいた処理を行い、乱数を生成します。同じ初期値を与えた場合は、常に同じ乱数が生成されますので、独立した乱数を生成した場合は、その度に初期値を変更する必要があります。
利用者様の方では、混雑状況を確認することは出来ません。
空いておりましたら、すぐにASG状態（アサイン状態：実行がスケジューリングされた状態）になりますので、sstatコマンドで表示されるSTT項目の結果をもって判断いただけますと幸いです。
もし何かスクリプトやシステムに問題があって、QUE状態になっている場合は、こちらからお知らせいたします。
資源追加の申請につきましては、以下の利用者管理WEBシステムから申請頂いております。
利用者管理システム(要認証)
申請手順につきましては、以下のHPにまとめておりますので、ご参照ください。
一般利用(学術利用) 資源追加申請
F_UFMTENDIAN環境変数を指定することで可能です。
ただし、当センターで採用しておりますスケジューラ(NQSII)の仕様で、「setenv」で環境変数を指定すると、マスターノードにのみ有効に働き、スレーブノードには反映されません。（マルチノードジョブの場合です。シングルノードジョブの場合ですとsetenvでも問題なく動作します。）
ジョブスクリプトの中で、以下のように指定していただくと、すべてのノードに反映されます。
--------------
#PBS -v F_UFMTENDIAN=［装置番号］
--------------
【参考情報】
ジョブスクリプト 環境変数の指定
NQSIIマニュアル(p.342 - p.343) ※利用者番号で認証が必要
サイバーメディアセンターの大規模計算機システムでは、フロントエンドからのSFTP、SSH、SCP等は使用できません。
また、所属グループを変更しグループパーミッションを変更の上、ファイルを共有するといったことも、システム上できません。
ローカルとフロントエンド間のSFTPは可能ですので、ご自身の端末を経由していただき、転送していただきますよう、お願いいたします。
ファイル形式が、BOM（Byte Order Mark）付きの形式となっており、バッチスクリプトの1行目のシェル指定が正しく認識されていない可能性があります。
BOM付きかどうかは、下記で確認可能です。
% file nqs.sh
BOMはviなどのエディタで編集可能ですので、削除いただいた上で、再度ジョブの投入をお願いいたします。
下記に、viでの編集例を示しています。
編集例
% vi -b nqs.sh (-bオプションを付けてください)
<feff>#!/bin/csh
^^^^上記の<feff>という文字がBOMとなります。こちらを削除し、保存してください。
出力される情報はマニュアルに記載しておりますので、以下の「2.13.6 MPI プログラム実行性能情報」をご覧ください。(要認証)
MPI/SX 利用の手引き
※ご注意
ノード間をMPI、ノード内はOpenMPで並列化して実行した場合、
ユーザ時間：UserTimeやシステム時間：SysTimeとして出力される情報は、
プロセス単位のCPU時間となります。したがって、各コアの実行時間を積算した値が表示され、RealTime:経過時間よりも長い時間が出力されることがありますので、ご注意ください。
投入したジョブクラスに誤りがある可能性があります。
再度ご確認の上、問題なさそうであれば下記までご連絡ください。
お問い合わせ
オプションF_ERROPTnを利用することで、エラーを抑制(回避)することが可能です。
setenv F_ERROPTn n1,n2,alt,err,m,t,a,cnt
n,n1,n2,alt,err,m,t,a,cntに、それぞれパラメータを設定する必要があります。
実行時に下記のようなエラーが出力される場合
271 DPWR -> underflow in D**I : D=XXX I=YYY PROG=test ELN=ZZ(ZZZZ) TASKID=1
ジョブスクリプトに下記のようにオプションを指定することで、
プログラム実行時に該当するエラーを検出せずに、動作し続けるようになります。
setenv F_ERROPT1 271,271,2,2,2,2,2,2
設定内容は下記のようになります。
F_ERROPT1 …F_ERROPT1～F_ERROPT9までを設定することができます。
複数指定した場合、値の小さい方から評価されます。今回は1つだけなので"1"を指定しています。
271,271, …制御を変更したいエラーの「エラー番号」を指定します。複数指定が可能で、始点終点をコンマ区切りで指定します。
今回は271番のエラーのみなので、始点終点に271を指定しています。
2, …利用者エラー処理ルーチンの実行有無を設定します。この例では「実行しない」設定にしています。
2, …入出力文にERR 指定子が指定されている場合に、指定された文へ制御を移すかどうかを指定します。
この例では「制御を移さない」設定にしています。
2, …エラーメッセージを出力するかどうかを指定します。この例では「出力しない」設定にしています。
2, …トレースバックメッセージを出力するかどうかを指定します。この例では「出力しない」設定にしています。
2, …エラー検出時にプログラムを終了するかどうかを指定します。この例では「終了しない」設定にしています。
2 …エラー検出時にエラー発生回数に数えるかどうかを指定します。この例では「数えない」設定にしています。
上記オプションはエラーの根本解決にはなりませんので、多用はお勧めしません。
ご理解いただいた上で、ご利用ください。
詳細は「FORTRAN90/SXプログラミングの手引」のF_ERROPTnオプションの項をご覧ください。
当該エラーメッセージは、qsub/qstatコマンドのライセンス数制限を超過していることを示しています。
ライセンス数は十分な数を用意しておりますが、コマンドの実行が集中した場合に、一時的に不足する可能性があります。
当該エラーメッセージを確認された場合は、以下からご連絡くださいませ。
お問い合わせフォーム
ジョブの投入時間と経過時間の指定により、実行されるタイミングがやや異なりますが、基本的には正しく実行されます。
※共有利用の場合は、他の利用者の投入状況によって実行されない場合がございます。
詳細は下記をご覧ください。
投入したジョブの実行終了予定時刻が、メンテナンス開始時刻を超えていた場合、メンテナンス終了後まで実行されません。
実行終了予定時刻は、「投入時間」とジョブスクリプトに記載した「経過時間の指定(elapstime_req)」から算出します。
例えば、ジョブスクリプトに「elapstime_req=5:00:00」と記載したジョブを、13:00に投入した場合、
実行終了予定時刻は18:00となります。
※共有利用の場合は、上記に関わらず、他の利用者の投入状況によって実行されない場合がございます。
※年度末メンテナンスの場合、メンテナンス終了時点で全てのジョブを削除します。
正常に実行されます。(メンテナンスの終了を待たずに実行可能です)
前述の通り、メンテナンス終了後まで実行されません。
投入されたジョブはQUE状態のまま受け付けられ、メンテナンス終了後に実行されます。
年度末メンテナンスの場合、全てのジョブが削除されますのでご注意ください。
「経過時間の指定(elapstime_req)」を調整し、
実行終了予定時刻がメンテナンス時刻を超えないようにして、再投入することで、実行できる可能性があります。
もしお急ぎの場合は、お試しください。
占有利用等で、長時間のジョブを実行されている方が対象となります。
メンテナンス開始までは正常に実行されます。
メンテナンス中は、計算を実行できませんので、停止をお願いすることがございますが、ご了承ください。
該当している場合、こちらからご連絡いたします。
メンテナンス終了後まで実行されません
投入されたジョブはQUE状態のまま受け付けられ、メンテナンス終了後に実行されます。
正常に実行されます。
ELN情報には、サブルーチン内の問題箇所の行番号が出力されます。
プリプロセッサを動作させている場合は、中間ファイルの行番号がELNとして出力されますのでご注意下さい。
-adv
演算プロセッサ(AP)における先行制御の状態を変更することを指定する。
すなわち、先行制御機能をプログラム単位の入口で設定し、出口で回復することを指定する。-adv on プログラム単位の入口で動作状態にし、出口で回復することを指定する。
-adv off プログラム単位の入口で停止状態にし、出口で回復することを指定する。
例えば、ある手続きに対してハードウェアの先行制御を抑止したい場合は
-adv off を指定してください。
ただし、本オプションを指定した場合、著しくプログラムの実行性能が
低下します（実行時間が10倍あるいはそれ以上にもなることがあります）。
このため、ご使用される場合は、むやみに指定するのではなく、先行制御を
抑止して実行する区間が可能な限り短くなるようにしてください。
また、コンパイラの行う最適化によって発生しないはずの例外が発生したり、
あるいは発生する例外の位置や回数が変わったりもしますので、この点にも
ご注意ください。「FORTRAN90/SX プログラミングの手引」
「4.4 最適化機能を使用する場合の注意」を参照ください。
閲覧には利用者番号での認証が必要となりますので、ご注意ください。
FORTRAN90/SX プログラミングの手引
こちらの「付録D 実行時のメッセージ」「D.1.1 エラーメッセージの形式」という個所をご確認ください。
