Инфраструктура ИИ стала операционной в двух третях предприятий, причем три из десяти используют рабочие нагрузки в масштабе. Однако способность отслеживать затраты, связанные с этой инфраструктурой, не успевает за развитием. Производительность и доступность ГП теперь преобладают над совокупной стоимостью владения при принятии решений о покупке, а надежность имеет приоритет над ценой для метрик успеха. Этот сдвиг понятен для команд, сталкивающихся с производственным давлением, но он подчеркивает значительную проблему: менее половины компаний могут строго отслеживать свои затраты на вычисления ИИ. Многие ГП работают с половинной или меньшей мощностью, а предстоящие инвестиции направлены на специализированные облака, которые в настоящее время используются очень небольшим процентом предприятий. Опрос показывает, что большинство предприятий используют три различные инфраструктурные платформы, причем наиболее распространенными являются крупные облачные провайдеры и API моделей ИИ. В то время как интеграция с существующими системами остается основным фактором выбора, производительность и доступ к ГП возросли в важности. Успех теперь в основном измеряется временем безотказной работы и надежностью, за которыми следует производительность разработчиков, а не метриками затрат. Несмотря на акцент на производительности и доступности, экономика вычислений ИИ не контролируется должным образом. Подавляющее большинство компаний, имеющих собственные ГП, сообщают о низких показателях использования, и менее половины строго отслеживают затраты и отдачу от вычислений ИИ. Следовательно, соотношение цены и качества является самым низким показателем удовлетворенности. Заглядывая в будущее, предприятия планируют оценить специализированные облака ИИ, несмотря на их текущее низкое использование. Не-Nvidia ускорители также являются значительной областью запланированной оценки. Значительная часть предприятий намерена сменить или добавить поставщиков в течение следующего года, но их набор рассматриваемых вариантов в значительной степени доминирует существующие игроки.