이 게시물은 Intel Advanced Matrix Extensions (AMX)를 사용하여 AI 추론 워크로드를 최대 76%까지 가속화하는 방법을 보여줍니다. AMX는 특수 하드웨어와 명령어를 사용하여 프로세서 코어에서 직접 행렬 연산을 수행하는 가속기입니다. Amazon Elastic Compute Cloud (Amazon EC2) 8세대 인스턴스에서 AMX를 사용할 수 있습니다. CPU 기반 추론이 비용 효율적인 경우, 최소한의 코드 변경으로 AMX를 활성화하는 방법, 그리고 모델에 최적의 성능을 제공하는 구성을 배우게 됩니다.