Analysis of GPU Collective Communication Performance on SQUID GPU Nodes

 

Authors:Keichi Takahashi

Affiliation:D3 Center, The University of Osaka

Abstract:SQUID GPUノードにおけるGPU間集団通信性能を明らかにすることを目的とし、OSU MicroBenchmarks (OMB) を用いてAllreduceの性能を評価した。SQUID標準のOpen MPI(BaseGPU/2024)、NVIDIA HPC SDK同梱のOpen MPI、NVIDIA NCCLを比較した結果、NCCLが全メッセージサイズで最速であった。BaseGPUモジュールのOpen MPIはNVLinkを利用できておらず、NVIDIA HPC SDKのOpen MPIとは集団通信ライブラリ(UCCやHCOLL)のリンク有無が性能差の要因と推察される。
 




Posted : March 31,2025