Используйте кэширование запрос... Заметка

Используйте кэширование запросов с моделями с открытым весом на Amazon Bedrock

Многие генеративные ИИ-приложения отправляют один и тот же длинный контекст при каждом запросе. Кэширование подсказок позволяет моделям с открытым весом на Amazon Bedrock повторно использовать его для снижения затрат на ввод и задержки. В этой статье показано неявное и явное кэширование через API Chat Completions и применяется кэширование к сеансу агента кодирования OpenCode.
CdXz5zHNQW_fArwIXpzJC.gif