На конференции PyTorch 2026 были представлены новые продукты и интеграции для запуска PyTorch в Google Cloud и других инфраструктурах. TorchTPU, нативный стек PyTorch для Google TPU, теперь с открытым исходным кодом на GitHub. Это обеспечивает бесшовное обучение, обслуживание и развертывание моделей на TPU с использованием привычных инструментов, таких как vLLM, SGLang и Hugging Face. Интеграция предоставляет пользователям выбор вычислительных опций, включая TPU, GPU и CPU, с единой операционной моделью. TorchTPU позволяет запускать существующие рабочие нагрузки PyTorch на TPU с минимальными изменениями кода и привычными API. Он поддерживает отладку в режиме eager и оптимизирует использование TPU и памяти с помощью torch.compile. Модели Hugging Face теперь работают нативно на TorchTPU, упрощая развертывание с помощью device_map="tpu". Оптимизация инференса достигается за счет интеграции TorchTPU с сервинговыми движками и маршрутизацией трафика между TPU и GPU. vLLM обеспечивает высокопроизводительное обслуживание и эффективность использования памяти на TPU благодаря таким функциям, как непрерывная пакетная обработка и квантование. SGLang ускоряет агентные и структурированные рабочие нагрузки на TPU, повторно используя KV-кэш между запросами. llm-d 1.0, проект CNCF Sandbox, связывает сервинговые движки PyTorch с Kubernetes для распределенного инференса LLM. TorchTitan предлагает нативное для PyTorch распределенное высокопроизводительное обучение в масштабе, протестированное на тысячах TPU. VeRL, популярный фреймворк RL, теперь включает бэкенд TPU для масштабируемых рабочих нагрузок пост-обучения и обучения с подкреплением. Ray добавил нативную поддержку TorchTPU, позволяя оркестрировать конвейеры ИИ на различных ускорителях в рамках одного рабочего процесса. LiteRT, решение Google для инференса ИИ на устройствах, теперь входит в экосистему PyTorch, позволяя моделям PyTorch работать на различных устройствах. Набор агентов TPU также находится на ранней стадии предварительного просмотра на GitHub для автоматизации онбординга, диагностики и настройки производительности моделей PyTorch на TPU.