SQUIDにおけるファイル・ディレクトリ数の上限設定について

現在運用しておりますスーパーコンピュータ SQUID につきましては、全体で 21PB 以上のファイルシステムを備えており、容量自体にはまだ十分な余裕がございます。
一方で、ファイル・ディレクトリの「個数」が逼迫している状況にあることが判明いたしました。
設計上、全体で 100 億個以上のデータを配置できるようになっておりますが、これまで制限を設けないまま運用してきたこともあり、現在その上限に近づきつつあります。
 
このため、システムの安定運用を維持する目的で、ファイル・ディレクトリ数の上限値を新たに設定いたしました。
 

対応内容

時期:12月8日 12:00 ~
内容:/sqfs/workの1グループあたりのファイル・ディレクトリ数の上限を 189,730,652 に設定しました。
影響:上限を超えた場合、新規ファイルの作成やプログラムの実行ができなくなります
 ※現在すでに上限を超えているグループにつきましては、先行して個別にご案内済みです。
 ※上限に近づいているグループにつきましては、順次個別にご連絡いたします。
 

現在のファイル・ディレクトリ数の確認方法

フロントエンドノードにて、以下のコマンドを実行してください。グループ名には、ご自身の所属グループ名を指定してください。
所属グループ名は groups コマンドで確認いただけます。("ocean"や"hpci"の後に所属グループ名が表示されます)

上記の例では “files”欄に表示される 1230000 が、グループで現在使用しているファイル・ディレクトリの総数です。
この値が 189,730,652 に近づいている場合、削減が必要となります。
※ユーザ単位のファイル数を知りたい場合はこちらよりお問い合わせください。
 

ファイル・ディレクトリ数の削減方法

基本的には不要なファイルを削除していただく必要があります。
複数ファイルを tar / zip などでまとめ、アーカイブ後に元ファイルを削除することでもファイル数を削減可能です。
対応が難しい場合は、どうぞお気軽に こちらまでご相談ください。




Posted : 2025年12月08日