ソリューションに飛び込む前に、問題の規模を理解することが役立ちます。一般的な本番環境のパターンを見てみましょう。1日あたり10,000件のメッセージを処理するカスタマーサポートボットで、各メッセージには2,000トークンのシステムプロンプトと200トークンのユーザーメッセージが含まれています。