人工智能算力差距:企业购买基础设施的速度快于其衡量成本的能力
AI 基础设施支出正迅速增长,远超组织理解和管理其经济影响的能力。目前,大多数 AI 工作负载运行于成熟的超大规模云服务商及模型提供商的 API 之上。然而,大量未来投资正流向专用计算领域,这是大多数企业尚未利用但计划在本年内探索的赛道。采购决策优先考虑与现有系统的集成能力以及总体拥有成本,而非显眼的每 token 价格。这构成问题,因为大多数公司缺乏清晰的单位经济模型,并报告 GPU 利用率偏低。该研究指出存在“计算缺口”,即在对 AI 基础设施进行激进投资的同时,对其成本缺乏足够的可见性。尽管仅有约五分之一的组织正在规模化运行 AI,但其支出意愿正快速增长,且高度聚焦于 AI 专用云。现有计算资源利用率不足,83% 的组织报告 GPU 利用率在 50% 或以下。此外,不到一半的企业能够准确追踪其 AI 计算成本。企业在当前基础设施供应商的选择上亦未定局,多数计划在十二个月内更换或增加供应商。在选择新供应商时,集成能力和总体拥有成本是主要驱动因素,而非每 token 定价。相当一部分企业尚未意识到或未能应对推理阶段内存带宽扩展这一新兴约束。当前的 AI 基础设施格局表现为投资大幅增长与缺乏经济透明度并存,同时现有资源利用率低下。这一动态表明,未来短期内将出现显著的供应商评估及潜在的重新平台化阶段。