PyTorch Conference 2026 では、Google Cloud およびその他のインフラストラクチャで PyTorch を実行するための新製品と統合が発表されました。Google TPU 用のネイティブ PyTorch スタックである TorchTPU が、GitHub でオープンソース化されました。これにより、vLLM、SGLang、Hugging Face のような使い慣れたツールを使用して、TPU 上でのモデルのシームレスなトレーニング、サービング、デプロイが可能になります。この統合により、ユーザーは一貫した運用モデルで、TPU、GPU、CPU を含むコンピューティングオプションを選択できます。TorchTPU は、最小限のコード変更と使い慣れた API で既存の PyTorch ワークロードを TPU 上で実行できるようにします。eager モードのデバッグをサポートし、torch.compile を通じて TPU の利用率とメモリを最適化します。Hugging Face モデルは、device_map="tpu" によるデプロイの簡素化により、TorchTPU 上でネイティブに実行できるようになりました。推論の最適化は、サービングエンジンとの TorchTPU 統合および TPU と GPU を横断するフリートルーティングによって実現されます。vLLM は、継続的なバッチ処理や量子化などの機能により、TPU 上で高スループットのサービングとメモリ効率を提供します。SGLang は、リクエスト間で KV キャッシュを再利用することで、TPU 上のエージェント型および構造化ワークロードを高速化します。CNCF Sandbox プロジェクトである llm-d 1.0 は、PyTorch サービングエンジンと Kubernetes を接続し、分散 LLM 推論を実現します。TorchTitan は、数千の TPU で検証された、PyTorch ネイティブの分散型高性能トレーニングを大規模に提供します。人気の RL フレームワークである VeRL には、スケーラブルなトレーニング後および強化学習ワークロード向けの TPU バックエンドが追加されました。Ray はネイティブの TorchTPU サポートを追加し、単一のワークフロー内でさまざまなアクセラレータにわたる AI パイプラインのオーケストレーションを可能にします。Google のオンデバイス AI 推論ソリューションである LiteRT が PyTorch エコシステムに参加し、PyTorch モデルをさまざまなデバイスで実行できるようになりました。TPU エージェントスイートも GitHub で早期プレビューされており、TPU 上の PyTorch モデルのオンボーディング、診断、パフォーマンスチューニングを自動化します。