生成AIスタートアップは、静的なクリップだけでなく、インタラクティブでリアルタイムな世界を開発しています。ViskoはGoogle Cloud TPUエンジニアと協力し、わずか30日でライブワールドモデル「Orbis」をCloud TPUにデプロイしました。ライブワールドモデルの提供は、オフラインのビデオ生成とは異なり、厳格なリアルタイムクロックに打ち勝つという独自の課題を提示します。世界がフリーズするのを避けるために、すべてのビデオとオーディオのチャンクは、前のチャンクが終了する前にレンダリングされる必要があります。ViskoのOrbisは、単一のプロンプトからライブビデオをストリーミングし、視聴者がリアルタイムでシーンを動的に操作できるようにします。チームは、ビデオ生成、アップスケーリング、オーディオを含むViskoのエンドツーエンド推論パイプラインを、単一のCloud TPUスライスに正常にデプロイしました。アーキテクチャの最適化と精密なエンジニアリングにより、1.07倍の再生速度でエンドツーエンドの生成を達成しました。この技術的な詳細な分析では、Google Cloud上で超低遅延の生成AIを構築するスタートアップ向けの最適化と実践的な教訓を探ります。ライブワールドモデルは、バッチサイズが1であり、厳格な逐次依存関係があるため、標準的なバッチ推論とは根本的に異なります。Viskoのパイプラインは、1つのCloud TPUスライス上で3つの生成モデルをチェーンし、各チャンクのハードウェアを共有します。