Ускорение рабочих нагрузок выв... Заметка
AWS Compute Blog на русском

Ускорение рабочих нагрузок вывода AI на базе CPU с использованием Intel AMX на Amazon EC2

В этой статье показано, как ускорить рабочие нагрузки вывода ИИ до 76% с помощью Intel Advanced Matrix Extensions (AMX) – ускорителя, использующего специализированное оборудование и инструкции для выполнения матричных операций непосредственно на ядрах процессора – на экземплярах Amazon Elastic Compute Cloud (Amazon EC2) 8-го поколения. Вы узнаете, когда вывод на основе ЦП является экономически эффективным, как включить AMX с минимальными изменениями кода и какие конфигурации обеспечивают оптимальную производительность для ваших моделей.
CdXz5zHNQW_g7Y8WnSog9.png