Microsoft выделяет Maia на мно... Заметка
InfoQ на русском

Microsoft выделяет Maia на многогигаваттные вычисления для инференса, а ее метрика эффективности вызывает вопросы

Microsoft масштабирует свое семейство ускорителей Maia до развертываний мощностью в несколько гигаватт с 2027 года, делая его основной системой инференса для собственных продуктов. Maia 300 объединяет масштабирование вверх и масштабирование вширь на одной Ethernet-сети и перемещает состояние KV между рабочими процессами предварительного заполнения и декодирования, не покидая ее. Практики поставили под сомнение заявление о количестве токенов на ватт, которое является центральным в анонсе. Стив-Ян Виггерс.
CdXz5zHNQW_ywaoEWaTRh.jpeg