PyTorch Conference 2026에서는 Google Cloud 및 기타 인프라에서 PyTorch를 실행하기 위한 새로운 제품과 통합이 소개되었습니다. Google TPU를 위한 네이티브 PyTorch 스택인 TorchTPU가 GitHub에서 오픈 소스로 공개되었습니다. 이를 통해 vLLM, SGLang, Hugging Face와 같은 익숙한 도구를 사용하여 TPU에서 모델의 학습, 서빙 및 배포를 원활하게 수행할 수 있습니다. 이 통합은 TPU, GPU, CPU를 포함한 컴퓨팅 옵션을 일관된 운영 모델로 사용자에게 제공합니다. TorchTPU는 최소한의 코드 변경과 익숙한 API로 기존 PyTorch 워크로드를 TPU에서 실행할 수 있도록 합니다. 이는 eager 모드 디버깅을 지원하고 torch.compile을 통해 TPU 활용도 및 메모리를 최적화합니다. Hugging Face 모델은 이제 TorchTPU에서 네이티브로 실행되며, device_map="tpu"를 사용하여 배포를 간소화합니다. 추론 최적화는 서빙 엔진과의 TorchTPU 통합 및 TPU와 GPU 전반의 플릿 라우팅을 통해 달성됩니다. vLLM은 연속 배치 및 양자화와 같은 기능을 통해 TPU에서 높은 처리량의 서빙 및 메모리 효율성을 제공합니다. SGLang은 요청 간 KV 캐시를 재사용하여 TPU에서 에이전트 및 구조화된 워크로드를 가속화합니다. CNCF Sandbox 프로젝트인 llm-d 1.0은 PyTorch 서빙 엔진을 Kubernetes와 연결하여 분산 LLM 추론을 수행합니다. TorchTitan은 수천 개의 TPU에서 검증된 대규모 PyTorch 네이티브 분산 고성능 학습을 제공합니다. 인기 있는 RL 프레임워크인 VeRL은 이제 확장 가능한 사후 학습 및 강화 학습 워크로드를 위한 TPU 백엔드를 포함합니다. Ray는 단일 워크플로우 내에서 다양한 가속기 전반에 걸쳐 AI 파이프라인을 오케스트레이션할 수 있도록 네이티브 TorchTPU 지원을 추가했습니다. Google의 온디바이스 AI 추론 솔루션인 LiteRT가 이제 PyTorch 생태계에 합류하여 PyTorch 모델을 다양한 장치에서 실행할 수 있게 되었습니다. TPU 에이전트 스위트도 GitHub에서 초기 미리 보기 상태로 제공되어 TPU에서 PyTorch 모델의 온보딩, 진단 및 성능 튜닝을 자동화합니다.