Кэширование подсказок не эконо... Заметка
DZone.com Feed на русском

Кэширование подсказок не экономит деньги на первом шаге.

Я искал простой способ показать, что именно дает кэширование промптов агенту, и первое, что я обнаружил, — это факт, который легко упустить, если читать только заголовок "экономия до 90%". Кэширование первого хода свежего разговора стоит дороже, чем его отсутствие. Кэша еще нет, поэтому вы платите за ввод контента плюс 25% премии за запись в кэш, и ничего не получаете взамен. Экономия начинается со второго хода, когда есть что прочитать. Где это находится в deepagentsDeep Agents включает AnthropicPromptCachingMiddleware из langchain-anthropic в свой стек промежуточного ПО по умолчанию. Он не решает, что кэшировать, угадывая. Он помечает ровно две вещи при каждом вызове модели: