大規模言語モデルは、しばしば必要以上の情報を受け取ります。プロンプトには、長い指示、取得されたドキュメント、チャット履歴、例、およびツール記述が含まれる場合があります。これにより、トークン使用量、コスト、および応答時間が増加します。また、モデルが重要な詳細を特定することが困難になる可能性もあります。プロンプト圧縮は、主要な意味、指示を維持しながらプロンプトを削減します。