生成式 AI 初创公司如今正致力于开发交互式实时世界，而不仅仅是静态片段。Visko 与 Google Cloud TPU 工程师合作，仅用 30 天便将其实时世界模型 Orbis 部署于 Cloud TPU 上。部署实时世界模型面临独特挑战：必须严格满足实时时钟要求，这与离线视频生成截然不同。每一段视频和音频必须在上一段结束前完成渲染，以避免世界冻结。Visko 的 Orbis 可从单个提示流式传输实时视频，并允许观众在实时动态引导场景。团队成功将 Visko 的端到端推理流水线（包括视频生成、超分辨率和音频）部署到单个 Cloud TPU 切片上。通过架构优化和精准工程，他们实现了 1.07 倍播放速度的端到端生成。本次技术深度解析探讨了在 Google Cloud 上构建超低延迟生成式 AI 的优化方案与实践经验。实时世界模型与标准批量推理存在根本差异，主要体现在批量大小为 1 以及严格的顺序依赖关系上。Visko 的流水线将三个生成式模型串联部署于单个 Cloud TPU 切片上，各片段共享硬件资源。