Analysis of GPU Collective Communication Performance on SQUID GPU Nodes
Authors:Keichi Takahashi
Affiliation:D3 Center, The University of Osaka
Abstract:SQUID GPUノードにおけるGPU間集団通信性能を明らかにすることを目的とし、OSU MicroBenchmarks (OMB) を用いてAllreduceの性能を評価した。SQUID標準のOpen MPI(BaseGPU/2024)、NVIDIA HPC SDK同梱のOpen MPI、NVIDIA NCCLを比較した結果、NCCLが全メッセージサイズで最速であった。BaseGPUモジュールのOpen MPIはNVLinkを利用できておらず、NVIDIA HPC SDKのOpen MPIとは集団通信ライブラリ(UCCやHCOLL)のリンク有無が性能差の要因と推察される。
Posted : March 31,2025