2022.01.18

Intel MPIで ppn, rr, prehostオプションを使用したい

SQUIDでは環境変数 $NQSII_MPIOPTS / $NQSV_MPIOPTによって、#PBS -l cpunum_jobで指定した値を元に、machinefileを自動生成しMPIに設定しています。ppn, rr, prehostといったオプションはmachinefileと同時に指定することが出来ないため、仮に128 MPIプロセス / 1ノードあたり64プロセス割り当てることを想定し、以下のように指定したとしても、ppn オプションは無効となります

mpirun ${NQSV_MPIOPTS} -np 128 -ppn 64 ./a.out

基本的には以下のように指定いただくことで、128 MPIプロセスを生成し、1ノードあたり64プロセス割り当てることが可能です。

#PBS -l cpunum_job=64
(中略)
mpirun ${NQSV_MPIOPTS} -np 128 ./a.out

環境変数 $NQSV_MPIOPTS は、以下のオプションとファイルが指定されています。

-machinefile /var/opt/nec/nqsv/jsv/jobfile/[リクエストID等の数値]/mpinodes

mpinodesファイルはマシンファイルとなっており、上記の場合は以下のようなホスト名、コア数が指定されています。

host001:64
host002:64

 
ただし、より細かくプロセス配置を指定したい場合(例えばピニングを設定し特定のコアにプロセスを使用せずに計算する場合など)上記のオプションでは対応出来ないケースがあります。ppn, rr, prehostオプションを使用する場合は、環境変数 $NQSII_MPIOPTS / $NQSV_MPIOPT を指定する代わりにhostfileオプションと環境変数 $PBS_NODEFILE を指定してください。128 MPIプロセスを生成し、1ノードあたり64プロセス割り当てる場合は以下のように指定します。

mpirun -hostfile ${PBS_NODEFILE} -np 128 -ppn 64 ./a.out

※PBS_NODEFILEを使う場合、#PBS -l cpunum_jobで指定した値がMPIに設定されません。ご自身でプロセス数の確認をお願いします。また、OCTOPUSではご利用いただけません。

2021.10.11

ワークフロー実行機能で複数ジョブを順番に実行している場合、先行ジョブが障害等で再投入(Rerun)されると、後続ジョブはどのような扱いになりますか?

ワークフローにてA⇒Bの順序で制御しているときに、AがRERUNとなった場合、Aを再実行、Bは再スケジューリングされ、ワークフローの順番を保ったまま実行されます。

2019.12.05

一度に大量のジョブを投入し、ジョブごとに入力ファイル/実行ファイルを変更したい

ファイル名に連続した数値が含まれている場合、パラメトリックジョブという投入方法で、一度に大量のジョブを投入できます。
パラメトリックジョブでは、ジョブスクリプト内の"$PBS_SUBREQNO"環境変数に、-tで指定した数値(下記の例では1から5までの数値)が格納されます。
qsubすると同時に5本のジョブが投入され、a.outに対してそれぞれ異なる入力ファイル(下記の例ではinput1からinput5)が設定されます。
 

ジョブスクリプト例

 

投入例

 

qstatの表示例:パラメトリックジョブの場合、1回のqsubにつき1件分の表示となります

 

sstatの表示例:-tで指定した数値分だけ表示されます

2019.11.25

Octaveから呼び出されるGnuplotのバージョンを設定したい

OCTOPUSには以下のGnuplotがインストールされています。

    ・4.6 (デフォルト)
    ・5.2.4 (/octfs/apl/Gnuplot/5.2.4)

 

Octaveから呼び出されるGnuplotのバージョンは、以下の2通りの方法で指定が可能です。
 
・呼び出したいバージョンのパスを設定する

    下記のジョブスクリプト例の4行目のように、Octaveの実行の前にGnuplotのバージョンのパスを設定することで、呼び出すバージョンを指定することができます。(Gnuplot5.2.4を呼び出す場合の例です)
    パスを設定しない場合、デフォルトのバージョンが呼び出されます。

 

・Octaveの設定ファイル「.octaverc」を作成する

    ホームディレクトリにOctaveの設定ファイル「.octaverc」を作成し、下記の一文を記述してください。

    gnuplot_binary="[Gnuplotの実行ファイルのパス]"

    上記のように記述することで、Octaveから呼び出されるデフォルトのGnuplotの実行ファイルを設定できます。
    例えば、5.2.4を呼び出す場合は「gnuplot_binary="/octfs/apl/Gnuplot/5.2.4/bin"」と記述してください。

2019.04.11

MPIプログラムを実行した際に"No PBS nodefile found"というエラーが出力される

MPIプログラム実行時に${NQSII_MPIOPTS}を指定していなかった場合、以下のようなエラーが出力されます。

[mpiexec@oct-***] HYDT_bscd_pbs_query_node_list (../../tools/bootstrap/external/pbs_query_node_list.c:23): No PBS nodefile found
[mpiexec@oct-***] HYDT_bsci_query_node_list (../../tools/bootstrap/src/bsci_query_node_list.c:19): RMK returned error while querying node list
[mpiexec@oct-***] main (../../ui/mpich/mpiexec.c:621): unable to query the RMK for a node list

以下のページに、MPIプログラムを実行する際のジョブスクリプトの例を掲載しておりますので、まずご参照ください。
OCTOPUSでのintel MPI実行方法

エラーメッセージ自体は、MPIプログラムの"nodefile"(実行する計算ノードを指定する設定ファイル)が存在しないことを通知しています。OCTOPUSでは、${NQSII_MPIOPTS}を指定いただくことで、自動的に設定されます。

2019.04.11

複数のジョブを同時に実行させたい

資源に空きがある限り、複数のジョブを同時に実行可能です。

qsub A.nqs
qsub B.nqs

といったように、1件1件個別にqsubしていくことで、A.nqsとB.nqsが同時に実行可能な状態となります。

2019.01.10

MPIジョブの出力ファイルにバイナリデータが書き込まれてしまう

MPI並列実行を行うプログラムで各プロセスが同名ファイルにデータを出力するよう記述していると、バイナリが書き込まれてしまう場合があります。
 

大規模計算機システムのような共有ファイルシステムにおいて各プロセスが同名のファイルにデータを出力することは、各プロセスが同一のファイルにデータを出力することと同じであるため、プロセス間で競合が発生した際にデータが破損してしまい、バイナリデータが書き込まれてしまうことがあります。各プロセスごとに別名のファイルに出力するか、MPI-IOというMPI用の入出力インターフェースを利用することで、プロセス間の競合を防ぐことが可能です。
 

MPI-IOについては下記をご覧ください。
MPIの実行結果を1つのファイルに出力したい

2018.12.20

ジョブを投入するとNQScrereq: [BSV ELIMEXCEED] Global submit limit has exceeded.というエラーが表示される

利用者単位、計算機単位でジョブの投入数上限を設定しており、いずれかの上限を超過していることによるエラーとなります。
基本的には、誤った利用方法による事故を防ぐ目的で設定しているものであり、利用を阻害するために設けているものではありませんので、本エラーを確認された場合は、以下までお知らせください。
 
お問い合わせフォーム

2018.11.16

試用制度のアカウントを一般(有償)利用に引き継ぐことはできますか?

試用制度のアカウントを一般利用へ引き継ぐことが可能です。アカウント情報、ストレージのデータなどをそのままご利用いただけます。
引継ぎを行う場合、下記の利用者管理システムから「利用資源追加申請」を行ってください。
利用者管理システム
 

「利用資源追加申請」の手順については下記のページに掲載しています。
利用資源追加申請

2017.06.06

MPIで並列計算を行う際に、ノード間のネットワーク的な距離の近いノード群を指定して利用できますか?

計算に使用するノードは、スケジューラ側が自動で最適なノードを割り当てるようになっており、利用者様の方では指定することはできません。
ご理解くださいませ。

2017.05.29

OpenMPで並列化していない箇所の処理時間が増加している

コンパイル時に、OpenMPや自動並列化を使用するオプションを指定した場合、並列化指示行の有無に関わらず、「並列版ライブラリ」がリンクされます。「並列版ライブラリ」の関数(並列版の関数)には通常版ライブラリと比べて、排他制御のために他スレッドのリソースへのアクセスを制限する「ロック処理」が組み込まれています。
 
並列化指示行を挿入していない箇所で並列版の関数がコールされた場合、1スレッドで動作するので、実際にロック処理に伴う「他スレッドの処理待ち」が発生するわけではないのですが、例えば、「排他が必要かどうか」といった判定を行う都合で、わずかですが通常版ライブラリより処理時間が増えることとなります。
 
一回のオーバヘッドはわずかですが、大量にコールすると、処理時間に大きく影響することとなります。
ご注意ください。

2017.05.19

MPIの実行結果を1つのファイルに出力したい

MPIを用いた場合、通常は各プロセスごとに出力ファイルが生成されます。しかしMPI-IOを用いて出力先を指定することで、各プロセスの出力を1つのファイルにまとめることができます。

基本的な利用方法

MPI-IOはMPIプログラミングを行うことを前提としています。MPIの基本的な利用方法やコマンドについてはこちらをご覧ください。
以下にfortranで書かれたプログラムを紹介します。こちらを参考に説明します。
 

ファイルへの出力(書き込み)

各プロセスごとにプロセスID(rank)を取得し、output.datの任意の位置に出力するプログラムです。
たとえば自身のプロセスIDが4の場合、output.datの16-19バイト目(INTEGER換算で5番目)に自身のプロセスIDを書き込みます。

 

プログラムのハイライト部分(8行目-11行目)が、MPI-IOプログラムになります。また7行目は直接MPI-IOに関係があるわけではないですが、9行目でコマンドに引数として渡す変数を設定している部分になりますので、必要な処理になります。
 
2行目、6行目-7行目、13行目はMPIでの処理を行うためのプログラムです。こちらについてはMPI利用方法(VCC)のページで解説を行っていますのでそちらを参考にしてください。
 
以下で8行目-11行目のコマンドについて詳しく説明していきます。
 

mpi_file_open

mpi_file_open(comm, filename, amode, info, fh, ierr)

MPI-IOでの入出力先のファイルをオープンするためのコマンドです。
MPI-IOを行う場合は最初にcallする必要があります。

引数
comm コミュニケータを指定します。通常はMPI全プロセスをあらわす「MPI_COMM_WORLD」を指定することが多いです。
filename 入出力先のファイル名を指定します。
amode アクセスモードの設定をします。「|」をはさむことで複数同時に指定することが可能です。代表的なものをいくつか紹介します。
mpi_mode_rdonly:読み込みのみ可能
mpi_mode_wronly:書き込みのみ可能
mpi_mode_rdwr :読み書き両方可能
mpi_mode_create:filenameで指定した名前のファイルがない場合、自動で作成
mpi_mode_excl :filenameで指定した名前のファイルがすでに存在する場合、エラーを返す
これ以外にも様々なモードが存在します。
info 入出力先のファイル情報を設定できますが、基本的には何も渡さない「mpi_info_null」で問題ありません。
fh ファイルハンドルです。これ以降filenameで指定したファイルは、fhで指定したファイルハンドルで指定することになります。
ierr 正常終了時に0が格納されます。エラー時はそれ以外の値が格納されます。

 

mpi_file_set_view

mpi_file_set_view(fh, disp, etype, ftype, datarep, info, ierr)

各プロセスのファイルへの入出力開始地点(ポインタ)を指定するコマンドです。
ここでうまくポインタの指定ができていないと、出力結果に変に空白ができてしまったり、上書きが発生してしまったりします。

引数
fh ファイルハンドルです。MPI_File_openで設定したファイルハンドルを指定します。
disp ポインタのオフセット距離をバイト数で指定します。たとえばここで4を引数として渡した場合、5バイト目にポインタがセットされます。CHARACTER型は1文字1バイトのデータ型なので、この場合はファイルの先頭から4文字分のスペースが空いていることになります。またINTEGER型で考えると、通常は1つ4バイトのデータ型なのでINTEGER1つ分のスペースが空いていることになります。
etype ファイルの基本単位を設定します。書き込む際のデータ型もしくはmpi_byteを指定します。
ftype ファイルのひとまとまりの単位を設定します。各プロセスが複数回にわたって規則的に入出力を行う際などに利用するもので、決まった型だけでなくユーザーが独自に作ったものを設定することも可能です。各プロセスが入出力を1回しか行わない場合はetypeと同じものを設定しておきます。
datarep データの表現方法を指定します。基本的にはバイナリ表現を表す「native」で問題ありません。
※必ず小文字で指定してください。
info 入出力先のファイル情報を設定できますが、基本的には何も渡さない「mpi_info_null」で問題ありません。
ierr 正常終了時に0が格納されます。エラー時はそれ以外の値が格納されます

mpi_file_write

mpi_file_write(fh, buf, count, datatype, status, ierr)

実際にファイルに出力するためのコマンドです。
MPI_File_openでオープンしたファイルにMPI_File_set_viewで指定されたポインタから書き込み始めます。

引数
fh ファイルハンドルです。MPI_File_openで設定したファイルハンドルを指定します。
buf 実際に書き込む内容を設定します。
count 書き込むデータの数(文字数ではない)を設定します。詳しくはdatatypeの欄で説明します。
datatype 書き込むデータの型です。ここで設定したデータ型を、countで設定した数だけ出力します。
たとえばcharacter型で「hello」と書き込む場合はcountに5を、datatypeにmpi_characterを設定します。
またinteger型で「100」と書き込む場合はcountに1を、datatypeにmpi_integerを設定します。
これはcharacterが1つで1文字を表すデータ型であるのに対し、integerは1つで-2147483648~2147483647の範囲の整数を表すデータ型だからです。
status 入出力先のファイルの通信に関する設定を行えますが、基本的には何も渡さない「mpi_status_ignore」で問題ありません。
ierr 正常終了時に0が格納されます。エラー時はそれ以外の値が格納されます

mpi_file_close

MPI_File_close(fh, ierr)

MPI-IOでの入出力先のファイルをクローズするためのコマンドです。
MPI-IOを行う場合は一連の処理の最後にcallする必要があります。

fh ファイルハンドルです。MPI_File_openで設定したファイルハンドルを指定します。
ierr 正常終了時に0が格納されます。エラー時はそれ以外の値が格納されます


 

ファイルからの入力(読み込み)

上記で作成したoutput.datからデータを読み込み、printで画面に表示するプログラムです。

 

プログラムのハイライト部分(8行目-11行目)が、MPI-IOプログラムになりますが、出力用のプログラムからmpi_file_writeがmpi_file_readに変わったのみでほぼ変化がありません。以下で新たに使用しているmpi_file_readについて解説します。
 

mpi_file_read

mpi_file_read(fh, buf, count, datatype, status, ierr)

ファイルから読み込むためのコマンドです。
MPI_File_openでオープンしたファイルのMPI_File_set_viewで指定されたポインタからデータを読み込みます。

引数
fh ファイルハンドルです。MPI_File_openで設定したファイルハンドルを指定します。
buf 読み込んだデータが格納されます。
count 読み込むデータの数を設定します。writeのときと同様に文字数ではないという点に注意してください。
datatype 読み込むデータの型です。ここで設定した型で、countで設定した数だけ読み込みます。
status 入出力先のファイルの通信に関する設定を行えますが、基本的には何も渡さない「mpi_status_ignore」で問題ありません。
ierr 正常終了時に0が格納されます。エラー時はそれ以外の値が格納されます


 

通常のコマンドを用いた読み込み

MPI-IOを用いて出力されたファイルは通常のreadコマンドでも読み込むことができます。mpi_file_readコマンドは本来、各プロセスにファイルの別々の箇所を読み込ませ、それぞれに並列作業を行わせるためのコマンドですので、MPI-IOによる出力結果をただ読み込むだけならば通常のreadコマンドを用いてデータの読み込みを行います。
上記同様output.datからデータを読み込み、printで画面に出力するプログラムです。

 

ご覧のとおりMPI化を行っていないシリアル実行のプログラムですので、コンパイルやスクリプトでのジョブ投入の記述に誤ってMPI用のコマンドを使わないように注意してください。
 

C言語の場合

上記と同じプログラムをC言語で記述したものも参考までに掲載します。関数はfortran版とほぼ同じですので、説明は省略します。

ファイルへの出力(書き込み)


ファイルからの入力(読み込み)


通常の関数を用いた読み込み

2016.09.16

標準出力ファイル、標準エラー出力ファイルに対して任意のパーミッションを設定したい

標準出力ファイル、標準エラー出力ファイルは、umaskコマンドで指定したパーミッションに従い、出力されます。フロントエンド上でumaskコマンドを実行し、指定してください。
 承ください。

2016.08.25

qstatやsstatコマンドを定期的に実行してもよいでしょうか?

qstatやsstatコマンドは実行中にライセンスを消費します。
平常利用においては、十分なライセンスを確保しておりますが、短い周期で定期実行されますと、ライセンスが不足し、他の利用者が利用できない状態に陥る可能性があります。
 
定期的な実行はできるだけお控えいただき、もしどうしても必要ということでしたら10分周期程度でご利用いただきますよう、よろしくお願いいたします。

2016.08.25

ディスク容量を超過した場合データはいつごろ削除されるのでしょうか?

システムを利用中の方については、センター側でデータを削除することはありません。
 
「ディスク容量の超過」についてですが、ディスクの容量は、基本的に「quota」という、Linuxのグループやユーザ毎にディスクを割り当てる機能を使っております。「quota」で決められた容量を超過しそうな場合は、対象の領域(この場合ext領域)について、新規のディスク書き込みができない状態になります。閲覧・削除等は可能です。
新規のディスク書き込みが出来なくなりますので、Writeを行うようなジョブは全てエラーとなってしまいます。ご注意ください。

2016.08.25

年度途中にディスク容量を追加した場合の利用期限はいつまででしょうか?

申し込み時期にかかわらず、年度末までとなります。翌年度もご利用いただく場合は、継続申請時にディスク容量追加の申請が必要となります。

2016.08.25

学生や共同研究者のアカウントを同一グループ内に作成したい

申請代表者様は、その申請枠内(同一グループ内)で利用者を追加登録することができます。
詳細については下記をご参照くださいませ。

利用者の追加/変更/削除について

2016.08.25

年度途中で利用負担金の支払い費目や支払い時期を変更したい

下記、お問い合わせフォームより承っております。ご連絡くださいませ。
お問い合わせフォーム

2016.08.25

他の利用者のジョブ投入状況を確認したい

他の利用者様のジョブ投入状況を確認することは出来ません。ご了承くださいませ。

2016.08.24

特定のライブラリ/アプリケーションをインストールしたい

利用者様の方で、ご自身のディスク領域に対して、特定のライブラリやアプリケーションをインストールされる場合、許可は不要です。(管理者権限を要しない場合は、許可不要です。)
 
センター側でのインストールを希望する場合は、下記のお問い合わせフォームよりご連絡くださいませ。(管理者権限を要する場合は、ご連絡ください。)
 
お問い合わせフォーム

ライブラリやアプリケーションの内容によっては、お断りする場合や、利用者様自身でのインストールをお願いする場合がございます。あらかじめご了承くださいませ。

2016.08.24

複数のジョブを順番に実行させたい

ワークフロー実行機能あるいはリクエスト連携機能を使用することで可能です。
 

ワークフロー実行についての詳細は下記マニュアルの7.ワークフローをご参照くださいませ。
リクエスト連携機能については下記マニュアルの1.2.22. リクエスト連携機能をご参照くださいませ。
NQS利用の手引き
 

ワークフロー実行とリクエスト連携機能の違いについて

リクエスト連携機能とではアサインされるタイミングが異なります。ワークフローの場合、投入後すぐに全リクエストがアサイン対象になりますが、リクエスト連携機能の場合、前のリクエストの実行が完了した時点でアサインされます。そのため、混んでいる場合にはワークフローの方が早く実行される可能性があります。

2016.08.24

HPCIアカウント、ローカルアカウントの違いがわかりません

HPCIアカウント

プライマリセンターから発行されるアカウントです。HPCIが提供するシングルサインオンを行う際に必要となります。
大阪大学サイバーメディアセンターをプライマリセンターに指定している場合は、利用者番号という形でお知らせしております。
 

ローカルアカウント

資源提供機関(利用する計算機を運用する機関)から発行されるアカウントです。計算機を利用する際に必要になるアカウントになります。
(HPCIアカウントを使ったシングルサインオンでも計算機を利用可能です)
大阪大学サイバーメディアセンターの計算機を使用する場合は、利用者番号という形でお知らせしております。
 

これらについての詳細は下記のページをご参照ください。
HPCIポータルサイト

備考

下記の場合、HPCIアカウントとローカルアカウントは同じものを割り当てます。ご注意くださいませ。
プライマリセンター:大阪大学サイバーメディアセンター
資源提供機関:大阪大学サイバーメディアセンター

2016.08.24

MPIスレーブノードに対して、任意のPATHを指定することは可能でしょうか?

ほぼ全ての環境変数は、#PBS -v によってMPIスレーブノードに対しても指定することができますが、いくつかの環境変数はスケジューラNQSIIの標準機能(#PBS -v)で指定することが出来ません。PATHもその一つになります。指定できない環境変数については下記マニュアルの1.16 qsub(1)をご参照ください。
NQSII 利用の手引き(OCTOPUS)
NQSV 利用の手引き(SQUID)
 
MPI実行時オプションをご利用いただくことで、これらの環境変数をスレーブノードに対して設定することが可能です。

2016.08.24

Random関数を使って独立した2つの乱数を生成したいが同じ値になる

多くの擬似乱数生成関数は指定した初期値(random seed)に対して、ある一定の規則に基づいた処理を行い、乱数を生成します。同じ初期値を与えた場合は、常に同じ乱数が生成されますので、独立した乱数を生成した場合は、その度に初期値を変更する必要があります。

2016.05.06

試用制度にはどのような制限がありますか?

試用制度では、SX-ACEは500ノード時間500ノード時間まで、OCTOPUSは26OCTOPUSポイントまでのご利用となりますが、それ以外は特に制限がありません。
ジョブクラスについても、通常の利用と変わらずご利用いただけます。
 
ノード時間の算出方法についてはこちらをご覧ください。
OCTOPUSポイントの算出方法についてはこちらをご覧ください
試用制度の詳細、申し込み方法はこちらをご覧ください。

2016.02.25

ジョブの混雑状況を確認する方法を教えてください

利用者様の方では、混雑状況を確認することは出来ません。
 
空いておりましたら、すぐにASG状態(アサイン状態:実行がスケジューリングされた状態)になりますので、sstatコマンドで表示されるSTT項目の結果をもって判断いただけますと幸いです。
 
もし何かスクリプトやシステムに問題があって、QUE状態になっている場合は、こちらからお知らせいたします。

2015.11.10

リトルエンディアンで書き込みのなされたファイルを読み込んでプログラムを実行することは可能でしょうか

F_UFMTENDIAN環境変数を指定することで可能です。
 
ただし、当センターで採用しておりますスケジューラ(NQSII)の仕様で、「setenv」で環境変数を指定すると、マスターノードにのみ有効に働き、スレーブノードには反映されません。(マルチノードジョブの場合です。シングルノードジョブの場合ですとsetenvでも問題なく動作します。)
 
ジョブスクリプトの中で、以下のように指定していただくと、すべてのノードに反映されます。
 
--------------
#PBS -v F_UFMTENDIAN=[装置番号]
--------------
 
【参考情報】
ジョブスクリプト 環境変数の指定
 
NQSIIマニュアル(p.342 - p.343) ※利用者番号で認証が必要

2015.07.13

ジョブ実行時に「/var/spool/nqsII/jsv/jobfile/0.10989.11/user_script: 実行形式エラー. 間違ったアーキテクチャです.」というエラーが表示される

ファイル形式が、BOM(Byte Order Mark)付きの形式となっており、バッチスクリプトの1行目のシェル指定が正しく認識されていない可能性があります。
BOM付きかどうかは、下記で確認可能です。
 

% file nqs.sh

 

BOMはviなどのエディタで編集可能ですので、削除いただいた上で、再度ジョブの投入をお願いいたします。
下記に、viでの編集例を示しています。
 

編集例
% vi -b nqs.sh (-bオプションを付けてください)
 
<feff>#!/bin/csh
^^^^上記の<feff>という文字がBOMとなります。こちらを削除し、保存してください。
 

2015.05.25

ジョブ投入時にRequest could not be routed.Request deleted.というエラーが表示される

投入したジョブクラスに誤りがある可能性があります。
再度ご確認の上、問題なさそうであれば下記までご連絡ください。
 
お問い合わせ

2015.03.12

qsubコマンドやqstatコマンドを実行時にNQSconnect: [BSV ELICENSE] nqscui license was exceeded.というメッセージが表示される

当該エラーメッセージは、qsub/qstatコマンドのライセンス数制限を超過していることを示しています。
 
ライセンス数は十分な数を用意しておりますが、コマンドの実行が集中した場合に、一時的に不足する可能性があります。
当該エラーメッセージを確認された場合は、以下からご連絡くださいませ。
 
お問い合わせフォーム

Next »