DZone.com Feed 日本語
フォロー
プロンプトキャッシュは、最初のターンではコストを節約しない
プロンプトキャッシュがエージェントに実際にどれだけの節約をもたらすかを分かりやすく示す方法を探していたところ、最初に気づいたのは、「最大90%の節約」という見出しだけを読んでいると見落としがちな事実でした。新しい会話の最初のターンをキャッシュするには、キャッシュしない場合よりもコストがかかります。まだ読み取るべきキャッシュがないため、コンテンツの入力料金に加えて、キャッシュに書き込むための25%のプレミアムを支払うことになり、何も返ってきません。節約は、読み取るべきものができてから2ターン目から始まります。
Deep Agentsにおけるこの機能の場所Deep Agentsは、langchain-anthropicからAnthropicPromptCachingMiddlewareをデフォルトのミドルウェアスタックに出荷しています。推測でキャッシュするものを決定するわけではありません。モデルの呼び出しごとに、正確に2つのものをタグ付けします。