AWS Machine Learning Blog на русском
Подписаться
Оптимизация затрат и задержек с помощью кэширования подсказок Amazon Bedrock
Кэширование промптов в Amazon Bedrock может сократить расходы на входные токены до 90%, когда вы многократно отправляете один и тот же контекст базовым моделям. В этой статье рассматриваются шесть практических сценариев кэширования промптов с использованием API Converse: содержимое сообщений, системный промпт, определение инструмента, смешанный TTL, изоляция арендаторов и интеграция LangChain.