記事: AIエージェントのためのステートフル継続: なぜトランスポート層が重要になったのか

エージェントワークフローは、輸送を最優先事項にします。複数ターンでツールを多用するループは、シングルターンLLMの使用では無視できるオーバーヘッドを増幅させます。ステートフルな継続は、オーバーヘッドを劇的に削減します。サーバー側でコンテキストをキャッシュすることで、クライアントが送信するデータを80%以上削減し、実行時間を15～29%改善できます。Anirudh Mendiratta著