设计可预测的 AI 性能，以通过微软市场扩展销售规模。

AI 的性能涉及延迟、质量与成本之间的关键权衡。提升质量往往需要更深层次的信息检索，从而导致更高的 token 用量。这种扩大的 token 用量会显著增加成本并延长响应延迟。传统的软件成本模型因 AI 不可预测的基于 token 的费用结构而失效。实施多模型路由策略有助于在保持质量的同时控制成本。通过在设计交互、编排、模型、检索和数据各层进行精心规划，可实现可预测的延迟。有意识的缓存对于控制延迟并稳定 AI 架构的成本至关重要。缓存策略包括请求级、语义级、嵌入级、检索级和工具级缓存。有效的缓存需要明确的失效策略，以维护数据的正确性。设计有界且可预测的默认值对于在微软等市场成功商业化至关重要。本系列后续将探讨应对故障的弹性与可靠性模式。