LLMは忘れるから失敗するのではありません。記憶しすぎることが原因で失敗します。会話が長くなるにつれて、プロンプトには冗長で価値の低いトークンが蓄積され、コストとレイテンシが増加する一方で、出力品質は静かに低下します。この記事では、依存関係を壊すことなくトークン使用量を削減する決定論的なプロンプト・プルーニング・レイヤーを紹介します。これは、実際のベンチマークと本番環境でテストされた設計によって裏付けられています。