Кэширование промптов для LLM, ... Заметка
DZone.com Feed на русском

Кэширование промптов для LLM, Часть 3: Кэширование на стороне модели и внедрение в продакшн

Резюме: Где это уместноЧасть 1 этой серии была посвящена кэшированию точных совпадений, а Часть 2 — семантическому кэшированию. Оба располагаются перед моделью и могут полностью пропустить вызов при совпадении. Эта статья охватывает то, что происходит с запросами, которые все же достигают модели: повторное использование вычисленного состояния модели, либо внутри вашего собственного механизма вывода, либо внутри системы поставщика API, а также производственные детали, которые превращают план кэширования в то, что команда может реально выполнить и чему доверять.Уровни 3 и 4 представляют собой две версии одной и той же основной идеи — повторное использование вычисленного состояния модели, разделенные по тому, кто управляет сервером модели. Если вы управляете собственными графическими процессорами, применяется уровень 3. Если вы вызываете размещенный API, применяется уровень 4. Вам редко требуется оба одновременно для одного и того же вызова модели.