InfoQ 日本語
フォロー
Microsoft、Maiaをマルチギガワット推論にコミット、その効率性指標に疑問符
Microsoftは、2027年からマルチギガワット規模の展開に向けてMaiaアクセラレータファミリーを拡張し、自社製品の主要な推論システムとする予定です。Maia 300は、スケールアップとスケールアウトを1つのイーサネットファブリックに統合し、KV状態をプリフィルワーカーとデコードワーカー間で、ファブリックを離れることなく移動させます。実務家たちは、発表のリードとなっているトークン/ワットの主張に疑問を呈しています。Steef-Jan Wiggers著