Google Cloud 已将 TPU 支持原生集成至 vLLM 推理引擎，使开发者能够利用 Google Kubernetes Engine (GKE) 弹性扩展高负载嵌入处理管道。为应对 Qwen3-Embedding-8B 等模型所需的 15K+ token 上下文，工程团队实施了针对 TPU 的优化措施，包括硬件安全的张量对齐、JAX/XLA 编译预热以及用于分块预填充管理的混合 StepPool 架构。这些改进实现了与参考 GPU 基线近乎完美的数值一致性，开发者可立即在 AI-Hypercomputer GitHub 上获取开源的配置方案，构建自身的高吞吐量语义检索应用。