AIコンピューティングギャップ:企業はインフラのコストを測定... ノート
VentureBeat 日本語

AIコンピューティングギャップ:企業はインフラのコストを測定できるよりも速く購入している

AIインフラストラクチャへの支出は急速に増加しており、組織がその経済的影響を理解し管理する能力を上回っています。現在、ほとんどのAIワークロードは、確立されたハイパースケーラーとモデルプロバイダーのAPIで実行されています。しかし、将来の重要な投資は、ほとんどの企業がまだ利用していないが、年内に検討する予定の専門コンピュート分野に向けられています。調達の決定は、既存システムとの統合と総所有コストを、ヘッドラインのトークン価格よりも優先します。これは、ほとんどの企業が明確な単価経済性を欠き、GPU利用率が低いと報告しているため問題です。この調査は、「コンピュートギャップ」を浮き彫りにしています。これは、AIインフラストラクチャへの積極的な投資と、そのコストに対する十分な可視性の欠如によって定義されます。AIを大規模に実行している組織はわずか約5分の1ですが、AI特化型クラウドに重点を置いた支出意向は急速に増加しています。既存のコンピュートリソースは十分に活用されておらず、83%がGPU利用率50%以下と報告しています。さらに、企業の半数未満がAIコンピュートコストを正確に追跡できます。企業は現在のインフラストラクチャベンダーにも満足しておらず、過半数が12か月以内にプロバイダーを変更または追加する予定です。新しいベンダーを選択する際、統合と総所有コストが主な推進要因であり、トークンあたりの価格ではありません。かなりの割合の企業が、推論におけるメモリ帯域幅スケーリングの新たな制約を認識していないか、対処していません。現在のAIインフラストラクチャの状況は、大幅な投資成長と、経済的透明性の欠如および既存リソースの未活用という特徴があります。このダイナミクスは、近い将来、大幅なベンダー評価と潜在的な再プラットフォーム化の期間を示唆しています。
CdXz5zHNQW_rcHYwGo3x2.png