はじめに
-
OCTOPUSでは来歴情報を収集、閲覧することができるData Provenance System for HPC(DPS4H)をご利用いただけます。
- 一般利用者 (グループメンバ)
- グループ管理者
- システム管理者
- CLI利用者
DPS4Hで収集された来歴情報を、ブラウザまたはCLIで検索・可視化・閲覧・編集するための操作手順を示します。
本マニュアルは、主に以下の方を対象としています。
利用環境・前提条件
- OS: Windows11、macOS
- ブラウザ: Microsoft Edge(Win)、Google Chrome(Win)、Safari(Mac)、Firefox
- システム管理者: 全来歴の操作が可能です
- グループ管理者: 管理グループと自身の来歴の操作が可能です
- グループメンバ: 自身の来歴の操作が可能です
動作環境 (推奨環境)
ロール
-
ユーザの利用権限(ロール)によって、画面の表示内容や操作できる機能が異なります。
本システムでは以下のロールがあります。
セッション管理
-
30分間操作がないとタイムアウトします。再操作時はエラー画面に自動的に遷移するため、再度ログインしていただく必要となります。
利用イメージ
-
フロントエンドサーバで来歴採取用のジョブクラス「DPS」を指定してジョブを投入すると、計算ノードでTracerにより情報採取とジョブ実行が開始されます。ジョブクラスについてはこちらをご確認ください。
一時間に一回Aggregatorにより来歴情報が構築されます。この構築処理は重複起動ができないため、前回のバッチ処理が未完了の場合はスキップされ、次の起動時に実行されます。
ユーザはブラウザまたはCLIから来歴情報を検索することができます。検索条件はブラウザとCLIで同じものを指定することができます。グラフ表示や公開先設定、パーマネントリンク操作はブラウザで行います。
認証とログイン
- 1. こちらのログインURLにアクセスします
- 2. IDもしくはメールアドレスとパスワード、ワンタイムパスコードを入力します。IDとパスワードはOCTOPUSと同じものになります。
ログイン
-
ブラウザでログインする手順について説明します。
※初回ログイン時は、2段階認証の設定が必要となります。初回ログイン時はQRコードが表示されますのでGoogle Authenticator等の2段階認証アプリケーションで設定をお願いいたします。
ログアウト
-
画面右上の利用者名メニューからログアウトを選択することでログアウトすることができます。
パーマネントリンクでアクセスした場合
-
ユーザは自身の実行したジョブのパーマネントリンクを発行することで、ジョブの来歴情報を外部の人に対して共有することができます。ユーザが発行したパーマネントリンクにアクセスすることで誰でも来歴情報をログインせずに閲覧することができます。パーマネントリンクでアクセスした場合は公開先設定やリンク発行、検索などを行うことができないようになっております。
来歴情報の検索と閲覧
- 日時指定: 分単位で検索が可能です。内部ではナノ秒精度で管理されています。例えば、終了「23:59」指定時は「23:59:59.999999999」までが対象となります。
- ロールに応じて見えるデータが異なります。グループメンバは自身の非公開設定のデータは見えますが、他社の非公開設定のデータは見えません。
- 1. 検索条件を入力します。「詳細条件を開く」をクリックすることで詳細条件を入力できます。
- 2. 「クリア」をクリックすることで検索条件をリセットすることができます。
- 3. 「検索」をクリックすると検索結果画面へと移行します。
- 並び替え: 検索結果の表のヘッダをクリックすることで昇順/降順を選択することができます。この並び替えは複合ソートとして維持されます。
- ページング: 検索結果のページを移動することができます。また、1ページに表示される行数を変更することができます(20, 50, 100から選択)。
- ジョブの選択: 検索結果の表の行をクリックすることでジョブに関連する来歴情報の詳細を確認することができます。
- ズームイン・ズームアウト
- 画面にフィット
- 画面エクスポート: png形式の画像をダウンロードすることができます。
- リフレッシュ: 移動させた頂点と辺の位置をリセットします。
- 並び替え: 一覧表示の表のヘッダをクリックすることで昇順/降順を選択することができます。この並び替えは複合ソートとして維持されます。
- ページング: 一覧表示のページを移動することができます。また、1ページに表示される行数を変更することができます(20, 50, 100から選択)。
- 詳細情報の確認: 行をクリックすることで詳細情報を確認することができます。
検索項目
-
主な検索項目は以下の通りとなります。
| 検索項目 | 入力形式 | 一致条件 | 備考・詳細 |
|---|---|---|---|
| Job ID | 半角数字・半角コロン | 完全一致 |
OCTOPUS上で表示されるNQSVのJOBIDと形式と異なります。 以下の手順で変換をお願いします。 【変換手順】 【例】 【注意点】 |
| ファイル名 | - | 部分一致 | - |
| 追加情報 | 名称/値のいずれか | 部分一致 | - |
| ジョブスクリプト名 | - | 部分一致 | - |
| uid | 半角数字 | 完全一致 | - |
| 期間 | 開始日/時間 ~ 終了日/時間 | - | - |
| 公開設定フィルタ | 非公開 / 公開指定あり / 全体公開 | - | フィルタによる絞り込み |
注意点
検索手順
-
以下の手順で検索することができます。
検索結果にはJob情報、Process情報、File情報、公開設定が含まれます。
| 種別 | 説明 | 主な属性 |
|---|---|---|
| Job | ジョブ単位の情報です。公開範囲やパーマネントリンクはジョブ単位で管理されます。 | id, job_id, batch_script |
| Process | OSプロセス単位の情報。親子関係やMPI種別を保持します。 | id, pid, uid, euid, egid, path, host, args, parent, start, mpi |
| File | ファイル単位の情報。入力/出力の関係に登場します。 | id, uid, path, inode, host |
| 公開設定 | private (非公開) /shared (公開指定あり) /public (全体公開) | - |
検索結果に対しては以下の操作をすることが可能です。
来歴情報表示
-
検索結果の表の行をクリックすることで、そのジョブに関連する来歴情報を確認することができます。
[来歴情報]
-
計算ジョブ実⾏に伴う Job、Process、Fileとそれらの関係を記録した情報の集合です。
Job、Process、Fileをまとめてエンティティと呼びます。また、エンティティ同士の関係をリレーションと呼びます。
[エンティティ]
-
来歴情報を構成する基本要素です。Job、Process、Fileの3種類で構成されます。
| 種別 | 説明 | 主な属性 |
|---|---|---|
| Job | ジョブ単位の情報です。公開範囲やパーマネントリンクはジョブ単位で管理されます。 | id, job_id, batch_script |
| Process | OSプロセス単位の情報。親子関係やMPI種別を保持します。 | id, pid, uid, euid, egid, path, host, args, parent, start, mpi |
| File | ファイル単位の情報。入力/出力の関係に登場します。 | id, uid, path, inode, host |
[リレーション]
-
エンティティ間の関係を示すものです。
例: parent(親⼦)、input(File→Process)、output(Process→File)。
| 種別 | 始点→終点 | 説明 |
|---|---|---|
| parent | Process → Process | 親プロセスから子プロセスへの関係を示します。グラフでは親から子に対して矢印が表示されます。 |
| input | File → Process | プロセスがファイルを入力として利用したことを示します。 |
| output | Process → File | プロセスがファイルを出力(生成/更新)したことを示します。 |
来歴情報は「グラフ表示」と「一覧表示」の二種類の表示方法があります。
来歴情報のグラフ表示
-
ジョブが実行された際のエンティティを頂点、リレーションを辺として表されたグラフを確認することができます。
グラフの頂点と辺はドラッグして移動させることができます。グラフの頂点をクリックすると詳細表示を確認することができます。
また、グラフ右上のアイコンをクリックすることで以下の操作が可能です。
来歴情報の一覧表示
-
グラフ表示画面の「一覧表示」をクリックすることで、ジョブに関連する来歴情報の一覧を確認することができます。
一覧表示には「エンティティタブ」と「リレーションタブ」の二つがあります。
それぞれ、ジョブのエンティティとリレーションの一覧が表示されます。
一覧表示に対しては以下の操作をすることが可能です。
追加情報の編集
-
追加情報の追加、更新、削除を行うことができます。
- 追加項目名: 必須の項目です。他の追加情報の追加項目名と重複できません。
- 追加項目値: 必須の項目です。
[追加情報の入力ルール]
公開先の設定
-
来歴情報表示画面の右上の「公開先設定」をクリックすることでジョブの来歴情報の公開先を設定することができます。
- 非公開
- 公開指定あり: gidもしくはuidを指定して公開することができます。
- 全体公開
- システム管理者: ⾮公開を含むすべての来歴情報を閲覧可能です。
- グループ管理者: 管理グループ配下の来歴情報は⾮公開のものも含め閲覧可です。他グループの⾮公開のものは閲覧できません。
- グループメンバ: ⾃⾝の⾮公開に設定した来歴情報は閲覧可能です。他者の⾮公開のものは閲覧できません。⾃⾝および所属グループに公開されたものと全体公開は閲覧可能です。
公開先は以下の項目から選択して設定することができます。
ロール別の来歴情報の見え方は以下の通りです。
パーマネントリンクの利用
パーマネントリンクの発行方法と利用方法
-
グラフ右上の「リンク発行」をクリックするとパーマネントリンクを発行することができます。パーマネントリンクを発行した後に表示されるURLにアクセスすることで、ログインすることなく来歴情報を確認することができます。外部の人に対して共有する際などにご使用ください。パーマネントリンクから閲覧した際は公開先設定、リンク発行、検索等を行うことはできません。パーマネントリンクを削除したい場合は「リンク削除」をクリックすることで削除することができます。
注意点
-
不要になったパーマネントリンクは削除してください。また、長期利用は定期的に見直しをお願いいたします。
CLI利用 (ターミナル/API連携)
-
OCTOPUSのフロントエンドで、CLIツールを用いた来歴情報の検索・更新・削除が可能です。
認証
-
ご利用の前に認証が必要です。
OCTOPUSのフロントエンドで以下のコマンドを実行し、認証を始めます。
dps-cli.sh login
コマンド実行後、以下のようなメッセージが表示されます。
表示されたURLにブラウザでアクセスするか、QRコードを読み取ることで、認証ページが開きます。
[INFO] デバイスフロー認証を開始します...
1. ブラウザで以下のURLにアクセス: https://auth-red.onion.osaka-u.ac.jp/realms/OCTOPUS/device?user_code=XXXX-XXXX
(下記QRコードをスマホ等で読み取れます)
############## ######## ###### #### ## #### ##############
## ## ########## ## ## ## ## ## ##
## ###### ## ## ## #### ###### ######## ## ###### ##
## ###### ## #### #### ###### #### ## ## ###### ##
## ###### ## ######## ## ## ## #### ## ## ###### ##
## ## ## ## #### #### ## ######## ## ## ##
############## ## ## ## ## ## ## ## ## ## ## ## ##############
#### ## ## #### ## ##########
#### #### ## ## ########## ## ## ## ## ##
ログインを求められる場合、ブラウザでの来歴閲覧の際と同様にログインします。
「Grant Access to DPS CLI Client」のページで「Yes」を選択すると、CLIツールの認証は完了です。
来歴情報の操作
-
来歴情報の検索・更新・削除の方法は、以下のコマンドを実行してご確認ください。
dps-cli.sh help
以下は来歴情報を操作するコマンドの例です。
# 来歴情報検索
dps-cli.sh search --limit 20 --offset 1 --job-id "10001:20250101,10000:20250101" --filename "test.txt" --from "2025/01/01 10:00" --to "2025/01/31 23:59"
# 来歴情報更新
dps-cli.sh update --id "Job:10000:20250101" --entity-type 1 --add-item-name "category" --add-item-value "experiment"
# 来歴情報削除
dps-cli.sh delete --id "Job:10000:20250101" --entity-type 1
運用上の制限事項
- ジョブID、euid、egidのいずれかがない場合、来歴情報の検索対象外となります。
- サーバーメンテナンス、不具合等によるサーバー停⽌の影響
- 来歴情報収集中にサーバーが停⽌した場合、来歴情報が構築されません。
- 来歴採取の上限メモリを2GBに制限しています。2GBを超えるとTracerが再起動し、来歴情報が構築されません。
- 同じ⼊⼒ファイルを⽤いた複数のジョブ実⾏により、同⼀のファイルエンティティIDが複数登録される場合があります。ファイルに対して情報の追記(項⽬:Add Items)を⾏った場合、同⼀のファイルエンティティIDを共有する他ユーザが⼊⼒した追記情報も表⽰されます。
- PRS製品 (Tracer/Aggregator) 制限事項
- fork 以外で⽣成されたプロセスについての親⼦関係の紐づけはできません。
- コンテナ内で動作するプログラムの来歴情報採取はできません。
- Open MPI 4.1.1 以外のMPIプログラムは動作未確認となります。
- 以下条件を満たす場合にのみ、MPIプログラムとして来歴情報が構築されます。
- 各プロセスが同⼀ユーザで実⾏されていること
- 各プロセスが同⼀のコマンドラインで起動されること
- ひとつのジョブの中で同じMPIプログラムを同じ引数で複数回実⾏した場合、それらのMPIプログラムは、まとめてひとつのMPIプログラムとして認識されます。
- プロセスの環境変数に含まれるジョブIDを取得できなかった場合は、MPIプログラムとして認識されません。
エラー画面とトラブルシューティング
- タイムアウト: 30分間操作がないと自動的にログアウトされるため、再ログインしていただく必要があります。
- データ読み込み、更新失敗: 時間をおいて再実行してください。再実行しても改善しない場合は以下を参考に担当者へ連絡してください。
- 発生日時
- 再現手順(どの画面で何を操作したか)
- Job ID等のジョブ情報
- 画面タイトル
- 表示メッセージ(エラー文言)
よくある事象
問い合わせ
-
解決できないトラブルが発生した場合は以下の情報を含めて担当者 (ou-octopus2@elsd.jp.nec.com) へ連絡をお願いします。

