AWS Compute Blog на русском
Подписаться
Ускорение рабочих нагрузок вывода AI на базе CPU с использованием Intel AMX на Amazon EC2
В этой статье показано, как ускорить рабочие нагрузки вывода ИИ до 76% с помощью Intel Advanced Matrix Extensions (AMX) – ускорителя, использующего специализированное оборудование и инструкции для выполнения матричных операций непосредственно на ядрах процессора – на экземплярах Amazon Elastic Compute Cloud (Amazon EC2) 8-го поколения. Вы узнаете, когда вывод на основе ЦП является экономически эффективным, как включить AMX с минимальными изменениями кода и какие конфигурации обеспечивают оптимальную производительность для ваших моделей.