VentureBeat на русском
Подписаться
Разрыв в вычислительных мощностях для ИИ: предприятия закупают инфраструктуру быстрее, чем могут измерить ее стоимость
Расходы на инфраструктуру ИИ стремительно растут, опережая способность организаций понимать и управлять ее экономическими последствиями. В настоящее время большинство рабочих нагрузок ИИ выполняется на существующих гиперскейлерах и через API поставщиков моделей. Однако значительные будущие инвестиции направлены на специализированные вычислительные мощности, сектор, который большинство предприятий еще не используют, но планируют изучить в течение года. При принятии решений о закупках приоритет отдается интеграции с существующими системами и общей стоимости владения, а не ценам за токен. Это проблематично, поскольку большинство компаний не имеют четкой экономики единицы продукции и сообщают о низких показателях использования GPU.Исследование подчеркивает "вычислительный разрыв", определяемый агрессивными инвестициями в инфраструктуру ИИ без достаточной прозрачности ее затрат. Хотя только около одной пятой организаций масштабно используют ИИ, их намерения по расходам быстро растут, с сильным акцентом на специализированные облака для ИИ. Существующие вычислительные ресурсы недоиспользуются: 83% сообщают об использовании GPU на уровне 50% или ниже. Кроме того, менее половины предприятий могут точно отслеживать свои затраты на вычисления для ИИ.Предприятия также не определились со своими текущими поставщиками инфраструктуры: большинство планирует сменить или добавить поставщиков в течение двенадцати месяцев. При выборе новых поставщиков основными факторами являются интеграция и общая стоимость владения, а не цена за токен. Значительная часть предприятий не осведомлена или не устранила возникающее ограничение масштабирования пропускной способности памяти при инференсе. Текущий ландшафт инфраструктуры ИИ характеризуется существенным ростом инвестиций наряду с отсутствием экономической прозрачности и недоиспользованием существующих ресурсов. Эта динамика предполагает период значительной оценки поставщиков и потенциального реплатформинга в ближайшем будущем.