回顾：本系列内容的定位本系列第一部分介绍了精确匹配缓存，第二部分介绍了语义缓存。两者均位于模型之前，命中时可直接跳过模型调用。本文探讨那些仍到达模型的请求如何处理：复用已计算的模型状态，无论是在您自己的推理引擎中，还是在 API 提供商的系统内，同时涵盖将缓存方案转化为团队可实际运行并信赖的生产环境所需的关键细节。第 3 层和第 4 层是同一基本理念的两个版本，即复用已计算的模型状态，区别在于由谁运行模型服务器。如果您自行运行 GPU，则适用第 3 层；如果您调用托管 API，则适用第 4 层。对于同一模型调用，通常无需同时使用这两层。