Amazon Bedrock のプロンプトキャッシュによるコ... ノート

Amazon Bedrock のプロンプトキャッシュによるコストとレイテンシの最適化

Amazon Bedrock のプロンプトキャッシュは、同じコンテキストを基盤モデルに繰り返し送信する場合、入力トークンコストを最大 90% 削減できます。この記事では、Converse API を使用した 6 つの実用的なプロンプトキャッシュシナリオを紹介します。メッセージコンテンツ、システムプロンプト、ツール定義、混合 TTL、テナント分離、LangChain 統合です。
CdXz5zHNQW_qZbeeZZ6ei.png