Почему кэширование промптов важно для LLM-приложений?Современные LLM-приложения часто получают один и тот же или почти один и тот же промпт более одного раза. Это происходит при отправке форм, распространенных вопросах в FAQ, вызовах инструментов агента или когда пользователь задает один и тот же вопрос разными словами. Без кэширования каждый из этих повторяющихся запросов влечет за собой полную стоимость токенов, полную задержку и создает ненужную нагрузку на ваши лимиты запросов.Сегодня на практике используются четыре метода кэширования. Эта статья, Часть 1 из 3-серийного цикла, охватывает первый и самый базовый: кэширование по точному совпадению. Часть 2 охватывает семантическое кэширование для запросов, которые означают одно и то же, но сформулированы по-разному. Часть 3 охватывает то, что происходит на уровне самого обслуживания модели: повторное использование KV-кэша при самостоятельном размещении и кэширование префиксов поставщика, а также производственные детали, которые в конечном итоге нужны каждой команде: отслеживание метрик, расчет затрат и полный контрольный список.