Cloud Run上でNVIDIA GPUsを使用してAI推論アプリケーションを実行する

Google Cloudは、Cloud RunでNVIDIA L4 GPUサポートをプレビューで導入しました。これにより、開発者は、GoogleのGemmaやMetaのLlamaのようなオープンな生成AIモデルを使用するアプリケーションで、リアルタイムAI推論を簡単に行えるようになりました。このアップグレードは、カスタムチャットボット、文書要約、画像認識、3Dレンダリングなどのタスクに使用される軽量モデルや、計算リソースが多く必要なアプリケーションにとって特に有益です。 この新機能で、開発者は、AI推論プロセスを高速化するNVIDIA GPUsを使用して、低遅延と効率的なスケーリングを提供し、Cloud Runのインフラストラクチャーが基盤の複雑さを管理します。 早期の採用者、L’OrealやChaptrは、GPUの統合がスタートアップ時間が短く、スケーラビリティが高く、使いやすいと評価しています。GPUサポートは現在、US-central1リージョンで利用可能で、今年までにヨーロッパとアジアにも拡大予定です。 Cloud Run上でNVIDIA GPUsを使用したサービスをデプロイするには、開発者は、コマンドラインやGoogle Cloudコンソールを介してGPUの要件を指定できます。さらに、Cloud Runは今、GPUアタッチメントを持つ関数もサポートし、イベント駆動のAI推論タスクを簡単化します。