AIインフラストラクチャは、企業の3分の2で稼働しており、10社中3社が大規模なワークロードを実行しています。しかし、このインフラストラクチャに関連するコストを追跡する能力は、それに追いついていません。パフォーマンスとGPUの可用性が、購入決定において総所有コストを上回り、成功指標においては価格よりも信頼性が優先されています。この変化は、本番環境のプレッシャーに直面しているチームにとっては理解できるものですが、重大な問題点を浮き彫りにしています。それは、企業の半数未満しかAIコンピューティングコストを厳密に追跡できないということです。多くのGPUは半分の容量以下で稼働しており、今後の投資は、現在ごく一部の企業しか利用していない専門的なクラウドに向けられています。調査によると、ほとんどの企業は3つの異なるインフラストラクチャプラットフォームを使用しており、主要なクラウドプロバイダーとAIモデルAPIが最も一般的です。既存システムとの統合は依然として最上位の選択要因ですが、パフォーマンスとGPUへのアクセスが重要度を増しています。成功は、コスト指標ではなく、主に稼働時間と信頼性によって測定されるようになり、次に開発者の生産性が続きます。パフォーマンスと可用性に焦点が当てられているにもかかわらず、AIコンピューティングの経済性は十分に管理されていません。自社GPUを所有する企業の大多数が低い利用率を報告しており、AIコンピューティングのコストとリターンを厳密に追跡しているのは半数未満です。その結果、費用対効果は最も低い満足度スコアとなっています。今後、企業は現在の利用率は低いものの、AIに特化したクラウドを評価する予定です。Nvidia以外のアクセラレータも、計画的な評価の重要な分野です。かなりの割合の企業が、来年中にプロバイダーを切り替えたり追加したりする意向ですが、その検討対象は既存のインカンベントが大部分を占めています。