InfoQ 中文
关注
微软将 Maia 投入多吉瓦推理,其效率指标引发质疑
微软计划从 2027 年起将其 Maia 加速器系列扩展至太瓦级部署,使其成为自身产品的主要推理系统。Maia 300 将扩展(scale-up)与扩展(scale-out)统一于单一以太网 fabric,并在预填充(prefill)与解码(decode)工作节点间移动 KV 状态,无需将其移出。业界人士对公告中提出的每瓦令牌数(tokens-per-watt)指标提出了质疑。作者:Stef-Jan Wiggers