LLMアプリケーションがより複雑になるにつれて、推論コストとレイテンシはますます重要になっています。単一のリクエストには、システム指示、会話履歴、取得されたドキュメント、ツール定義、ユーザー入力から数千、あるいは数百万ものトークンが含まれる場合があります。同じ情報を繰り返し処理することは、時間と計算能力の両方を浪費します。キャッシュは、この繰り返し作業を回避するのに役立ちます。しかし、[...]