AI 代理时代需要支持推理与行动的基础设施，而不仅仅是响应。Gartner 已认可 Google 在 AI 基础设施领域的领导地位，凸显其卓越的执行力与前瞻性愿景。这一成功建立在 Google 与 Google DeepMind 合作设计硅基芯片与软件超过十年的基础之上，服务于 Gemini 等应用。Google 的定制 TPU 在此过程中居于核心地位：TPU 8t 优化训练，TPU 8i 增强代理的推理能力。Google 还与 NVIDIA 合作，提供 A5X 实例，并将 GPU 集成至 Google Cloud 服务中。Google 积极贡献于开源项目，并为 PyTorch 开发者提供 TorchTPU。其 AI 超算通过软硬件一体化实现每美元性能的提升。关键组件包括高带宽存储系统和用于大规模计算连接的 Virgo 网络。GKE 推理网关通过低延迟和降低成本来优化模型扩展。该基础设施支持弹性扩展，借助 Cluster Director 和 GKE，可实现高达 130,000 个节点的训练。GKE Agent Sandbox 提供安全、低延迟的代理执行及成本优化。最后，跨云网络与 Cloud WAN 确保在多云和混合环境中保持一致的性能表现。