この投稿では、Intel Advanced Matrix Extensions (AMX) を使用して、AI推論ワークロードを最大76%高速化する方法を紹介します。AMXは、特殊なハードウェアと命令を使用して、プロセッサコア上で直接行列演算を実行するアクセラレータです。Amazon Elastic Compute Cloud (Amazon EC2) の第8世代インスタンスで利用できます。CPUベースの推論が費用対効果の高い状況、最小限のコード変更でAMXを有効にする方法、そしてモデルに最適なパフォーマンスを提供する構成について学びます。