Резюме: Где это уместноЧасть 1 этой серии была посвящена кэшированию точных совпадений: хешированию полного запроса и возврату сохраненного ответа при точном совпадении нового запроса со старым. Этот уровень быстр и безопасен, но помогает только тогда, когда входные данные совпадают точно, что часто встречается в шаблонном трафике и редко в открытом диалоге.Эта статья охватывает уровень, который устраняет этот пробел: семантическое кэширование. Часть 3 посвящена тому, что происходит, когда запрос фактически достигает модели: повторное использование KV-кэша, размещенного на собственном сервере, и кэширование префиксов поставщика, а также производственные детали: отслеживание метрик, расчет затрат и полный контрольный список.