InfoQ на русском
Подписаться
Microsoft выделяет Maia на многогигаваттные вычисления для инференса, а ее метрика эффективности вызывает вопросы
Microsoft масштабирует свое семейство ускорителей Maia до развертываний мощностью в несколько гигаватт с 2027 года, делая его основной системой инференса для собственных продуктов. Maia 300 объединяет масштабирование вверх и масштабирование вширь на одной Ethernet-сети и перемещает состояние KV между рабочими процессами предварительного заполнения и декодирования, не покидая ее. Практики поставили под сомнение заявление о количестве токенов на ватт, которое является центральным в анонсе. Стив-Ян Виггерс.