VentureBeat 日本語
フォロー
GPUの追加はもうやめよう:Wekaの新しいストレージプラットフォームは、AIモデルの事前計算済みトークンを100%キャッシュすることで負荷を軽減します
GPUメモリは、AIプロダクションにおいて最も高価で急速に枯渇するリソースです。長いコンテキストウィンドウやマルチターンの会話は、以前に処理された情報の非効率的な再計算を引き起こします。Wekaは、NeuralMesh 6プラットフォームとWekapod 3ハードウェアにより、安価なフラッシュストレージを使用してGPUメモリを拡張することを目指しています。同社のAugmented Memory Gridは、NANDフラッシュを集約して、より低コストでGPUメモリを模倣します。このイノベーションは、DellやNetAppのような、AIインフラストラクチャにも注力している確立されたプレーヤーがいる競争の激しい市場に参入します。Wekaは、顧客の即時的なコンピューティング可用性へのニーズに対応する、AIネイティブな設計を強調しています。主な利点は、GPU利用率の向上、推論コストの削減、AIワークロード展開の高速化です。この技術は、大規模なAIオペレーションや急速な成長を経験している企業にとって特に価値があります。NeuralMesh 6の主な機能には、効率的なリソース共有のためのコンポーザブルで仮想的なマルチテナンシーが含まれます。また、データ重複を排除する統合ファイルおよびオブジェクトストレージも提供します。メタデータファーストレプリケーションは、宛先環境でのデータ可用性を高速化します。Augmented Memory Gridは、事前に計算されたトークンをキャッシュすることで無駄なコンピューティングに対処し、拡張された会話での冗長な処理を防ぎます。このアプローチにより、従来のGPUメモリよりも大幅に多くのNANDストレージが可能になり、事前に計算されたトークンの完全なキャッシュが可能になります。