企业为简单的 AI 查询支付了过高费用——Snowflake... 笔记

企业为简单的 AI 查询支付了过高费用——Snowflake 的网关现已实现自动路由,可将成本降低高达 3 倍。

企业团队在使用单一 AI 模型处理所有任务时面临挑战,因为这些模型要么对简单查询成本过高,要么对复杂任务能力不足。模型路由(Model Routing)作为一种自动为每个任务选择最佳模型的技术,正逐渐成为解决方案。Snowflake 的 Cortex AI Gateway 现已支持动态模型路由,允许用户选择“自动”模式,该模式能够智能地将任务分配给模型,在质量与成本之间取得平衡。据称,这一功能可将令牌(token)成本降低高达三倍,因为它通过为简单问题使用能力较弱但更便宜的模型,避免了过度支出。其他主要厂商如 Databricks、AWS、Google Cloud 和 Nvidia 也在开发类似的模型路由技术。Snowflake 强调,模型路由不仅涉及价格与性能,更重要的是纳入治理与上下文。其动态路由机制采用“顾问模式”(advisor pattern),即由较小模型首先尝试任务,必要时再升级至较大模型。此外,一个基于历史查询训练的分类器会将直截了当的问题路由至更合适、更简单的模型。该自动路由为可选功能,允许客户根据需要手动指定模型。Snowflake 将路由与其现有的数据治理体系集成,将基于角色的访问控制(RBAC)从数据扩展至模型和智能体(agents)。开放模型可在客户所在区域运行,以满足数据驻留要求,且所有推理均保留在 Snowflake 的安全边界内。通过 Horizon Context 和 Cortex Sense 等工具增强的上下文能力,使较便宜的模型也能有效处理任务,无需进行大量探索性工作。智能体记忆(Agent Memory)也被纳入上下文,避免重复解决问题并降低成本。模型路由的竞争格局包括 OpenRouter、Nvidia 的 Switchyard 以及 Databricks 的 Smart Routing 等平台。差异化正转向集成治理、数据本地性、访问控制以及在首选平台内的成本归因。在选择模型路由器时,组织应优先考虑与其现有数据治理和团队结构最契合的选项,而非仅关注功能或价格。选择采用哪种路由器,很大程度上取决于企业现有的数据基础设施和治理模式。