AI 인프라가 전체 기업의 3분의 2에서 운영되기 시작했으며, 10곳 중 3곳은 대규모로 워크로드를 실행하고 있습니다. 그러나 이러한 인프라와 관련된 비용을 추적하는 능력은 이에 미치지 못하고 있습니다. 성능과 GPU 가용성이 이제 구매 결정에서 총 소유 비용보다 중요하게 작용하며, 성공 지표에서는 가격보다 안정성이 우선시됩니다. 이러한 변화는 생산 압박에 직면한 팀들에게는 이해할 만하지만, 이는 중요한 문제를 강조합니다. 즉, 절반 미만의 기업만이 AI 컴퓨팅 비용을 엄격하게 추적할 수 있습니다. 많은 GPU가 절반 이하의 용량으로 작동하고 있으며, 향후 투자는 현재 매우 적은 비율의 기업에서 사용하고 있는 전문 클라우드로 향하고 있습니다. 설문 조사에 따르면 대부분의 기업은 세 가지 다른 인프라 플랫폼을 사용하며, 주요 클라우드 제공업체와 AI 모델 API가 가장 일반적입니다. 기존 시스템과의 통합은 여전히 최고의 선택 요인이지만, 성능과 GPU 액세스의 중요성이 높아졌습니다. 성공은 이제 비용 지표보다는 주로 가동 시간과 안정성으로 측정되며, 그 다음으로 개발자 생산성이 뒤따릅니다. 성능과 가용성에 초점을 맞추고 있음에도 불구하고, AI 컴퓨팅의 경제성은 잘 통제되지 않고 있습니다. 자체 GPU를 보유한 대다수의 기업은 낮은 활용률을 보고하고 있으며, 절반 미만이 AI 컴퓨팅 비용과 수익을 엄격하게 추적합니다. 결과적으로, 가성비는 가장 낮은 만족도 점수입니다. 앞으로 기업들은 현재 사용률이 낮음에도 불구하고 AI 전문 클라우드를 평가할 계획입니다. Nvidia가 아닌 가속기도 계획된 평가의 중요한 영역입니다. 상당수의 기업이 향후 1년 이내에 제공업체를 변경하거나 추가할 의향이 있지만, 그 고려 대상은 기존의 선점 기업들이 크게 지배하고 있습니다.