AIの隠れたストレージコスト:推論がもたらすもの ノート

AIの隠れたストレージコスト:推論がもたらすもの

ほとんどの役員にAIのコストを想像してもらうと、彼らはGPU、つまりギガワットの電力を消費するアクセラレーターのラックと、シリコンの順番待ちリストを思い浮かべるでしょう。しかし、そのイメージには欠けているものがあります。それはデータストレージのコストです。モデルが応答した後、データはどうなるのでしょうか?毎日何十億ものプロンプト、画像、動画から生成されるバックエンドデータの多くは…
CdXz5zHNQW_jWV6rxEQic.png