AI 인프라 지출이 빠르게 증가하고 있으며, 이는 조직이 그 경제적 영향을 이해하고 관리하는 능력을 앞지르고 있습니다. 현재 대부분의 AI 워크로드는 기존의 하이퍼스케일러와 모델 제공업체 API에서 실행됩니다. 그러나 상당한 미래 투자는 특수 컴퓨팅에 집중되고 있으며, 이는 대부분의 기업이 아직 활용하지 않지만 올해 안에 탐색할 계획인 분야입니다. 조달 결정은 헤드라인 토큰 가격보다 기존 시스템과의 통합 및 총 소유 비용을 우선시합니다. 대부분의 회사가 명확한 단위 경제를 가지고 있지 않고 GPU 활용률이 낮다고 보고하기 때문에 이는 문제가 됩니다.이 연구는 AI 인프라에 대한 공격적인 투자와 그 비용에 대한 충분한 가시성 부족으로 정의되는 "컴퓨팅 격차"를 강조합니다. 조직의 약 5분의 1만이 AI를 대규모로 실행하고 있지만, AI 특화 클라우드에 대한 강력한 초점과 함께 지출 의도가 빠르게 증가하고 있습니다. 기존 컴퓨팅 리소스는 활용도가 낮으며, 83%가 GPU 활용률이 50% 이하라고 보고합니다. 또한, 절반 미만의 기업이 AI 컴퓨팅 비용을 정확하게 추적할 수 있습니다.기업들은 또한 현재 인프라 공급업체에 만족하지 않고 있으며, 대다수가 12개월 이내에 공급업체를 변경하거나 추가할 계획입니다. 새로운 공급업체를 선택할 때, 통합 및 총 소유 비용이 주요 동인이며, 토큰당 가격이 아닙니다. 상당수의 기업이 추론에서 메모리 대역폭 확장의 새로운 제약을 인지하지 못하거나 해결하지 못했습니다. 현재 AI 인프라 환경은 상당한 투자 성장과 경제적 투명성 부족 및 활용되지 않는 기존 리소스가 특징입니다. 이러한 역학 관계는 가까운 미래에 상당한 공급업체 평가와 잠재적인 재플랫폼화 기간을 시사합니다.