LLMアプリケーションにおいてプロンプトキャッシュが重要な理由最新のLLMアプリケーションでは、同じ、あるいはほぼ同じプロンプトが複数回送信されることがよくあります。これは、フォーム送信、一般的なFAQ、エージェントツールの呼び出し、あるいはユーザーが同じことを異なる言葉で尋ねる場合などに発生します。キャッシュがない場合、これらの繰り返しリクエストはすべて、トークンコスト、レイテンシがフルにかかり、レート制限への不要な負荷が増加します。現在、本番環境では4つのキャッシュ方法が使用されています。この記事は3部構成シリーズの第1部で、最初の最も基本的な方法である「完全一致キャッシュ」について説明します。第2部では、意味は同じでも言葉遣いが異なるリクエストに対応する「セマンティックキャッシュ」について説明します。第3部では、モデルサービングレイヤー自体で何が起こるか、つまり、セルフホストされたKVキャッシュの再利用とプロバイダープレフィックスキャッシュ、さらに、すべてのチームが必要とする本番環境の詳細（メトリクスの監視、コストの算出、完全なチェックリスト）について説明します。