Google Cloud нативно интегрировал поддержку TPU в движок обслуживания vLLM, позволяя разработчикам эластично масштабировать высоконагруженные конвейеры встраивания с использованием Google Kubernetes Engine (GKE). Для обработки массивных контекстов размером более 15 тысяч токенов для таких моделей, как Qwen3-Embedding-8B, инженерная команда внедрила оптимизации, специфичные для TPU, такие как аппаратное выравнивание тензоров, предварительный прогрев компиляции JAX/XLA и гибридная архитектура StepPool для управления фрагментированным предварительным заполнением. Эти улучшения достигают почти идеальной численной эквивалентности с эталонными GPU-базовыми линиями, и разработчики могут немедленно использовать рецепты настройки с открытым исходным кодом на GitHub AI-Hypercomputer для создания собственных высокопроизводительных приложений семантического поиска.