模型路由更新:新增区域、刷新模型池,以及理解“爬坡”机制 笔记

模型路由更新:新增区域、刷新模型池,以及理解“爬坡”机制

Microsoft 的 AI 进展通过一种称为“爬山法”的纪律性循环得以实现,该循环借助计算、数据和评估实现持续改进。这一概念适用于以可衡量的步骤提升可部署模型包,重点关注质量、延迟和成本。Foundry Models 中的模型路由器将这种爬山法引入模型选择流程,超越了手动或自定义路由工具。本次最新发布通过扩大支持的模型池及其区域可用性,增强了模型路由器的能力。模型池新增 Anthropic Claude Opus 4.8 和 GPT-5.6 系列,同时旧模型已弃用。模型路由器现已覆盖 28 个全球区域和 21 个数据区域,以满足监管和治理要求。模型池的更新自动进行,保持端点稳定,因此应用程序无需重新部署。模型路由器支持通过 A/B 测试、模型分解和持续路由实现的优化循环。A/B 测试使团队能够比较模型和路由策略,以实现最佳生产使用。模型分解有助于理解工作负载行为并识别专业化机会。持续路由支持按请求选择最适配的模型,将模型选择转变为一个持续的优化过程。