Baseten、AIインフラストラクチャプロバイダーが、AI推論において顕著なコストパフォーマンスの向上を達成しました。Google CloudのA4仮想マシンにNVIDIA BlackwellハードウェアとDynamic Workload Schedulerを組み合わせることで、Basetenは効率の向上を提供します。このブレークスルーにより、企業は高度なAIモデルを低コストで本番環境にデプロイできるようになり、新たなアプリケーションの実現が可能になります。AIモデルの実行プロセスである推論は、エンタープライズAIにとって非常に重要ですが、コンピューティング需要の増加によりボトルネックとなっています。Basetenは、さまざまな独自モデルやオープンソースモデルに対応するスケーラブルな推論プラットフォームを提供し、パフォーマンスとコストを重視することで、この課題に対処しています。同社の戦略は、最先端のハードウェアを洗練されたオープンソフトウェアスタックで最適化することです。これには、NVIDIA GPUやNVIDIA Dynamo、TensorRT-LLMのような高度なフレームワークの活用が含まれます。Basetenのソフトウェア最適化は、スループットを向上させ、レイテンシを削減し、同社をトップパフォーマーとして位置づけています。さらに、同社のグローバルインフラストラクチャとGoogle CloudのDynamic Workload Schedulerの利用は、高可用性と冗長性を保証します。この強力なハードウェアとソフトウェアの組み合わせは、前例のない規模とコスト効率で、さまざまな産業にわたる新しいAIアプリケーションを解き放ちます。