Amazon SageMaker AIにおけるMixture-of-Expertsカーネルエンジニアリング
AWSエンジニアがAmazon SageMaker AI上で融合型Mixture-of-Experts (MoE) モデル向けのカーネル最適化を共有:WGMMA利用のためのSwap-AB、FP8量子化のためのTritonバックエンドルーティング、およびTriton JIT再コンパイルの排除。これらを組み合わせることで、H200 GPU上で最大10%高いスループットと最大9%高速なTime to First Tokenを実現します。