Microsoft、Maiaをマルチギガワット推論にコミット... ノート
InfoQ 日本語

Microsoft、Maiaをマルチギガワット推論にコミット、その効率性指標に疑問符

Microsoftは、2027年からマルチギガワット規模の展開に向けてMaiaアクセラレータファミリーを拡張し、自社製品の主要な推論システムとする予定です。Maia 300は、スケールアップとスケールアウトを1つのイーサネットファブリックに統合し、KV状態をプリフィルワーカーとデコードワーカー間で、ファブリックを離れることなく移動させます。実務家たちは、発表のリードとなっているトークン/ワットの主張に疑問を呈しています。Steef-Jan Wiggers著
CdXz5zHNQW_ywaoEWaTRh.jpeg