Amazon SageMaker AIにおけるMixture... ノート

Amazon SageMaker AIにおけるMixture-of-Expertsカーネルエンジニアリング

AWSエンジニアがAmazon SageMaker AI上で融合型Mixture-of-Experts (MoE) モデル向けのカーネル最適化を共有:WGMMA利用のためのSwap-AB、FP8量子化のためのTritonバックエンドルーティング、およびTriton JIT再コンパイルの排除。これらを組み合わせることで、H200 GPU上で最大10%高いスループットと最大9%高速なTime to First Tokenを実現します。
CdXz5zHNQW_PX5Ot45dVN.png