プロダクションで生き残るツール呼び出しAIエージェントの設計... ノート

プロダクションで生き残るツール呼び出しAIエージェントの設計:LangGraphアプローチ

ステージ上ではほとんどのエージェントデモは美しく機能するが、本番環境では最初の1週間で崩壊する。その理由はほぼ常に同じである。デモはツール呼び出しをハッピーパスとして扱い、本番環境はエッジケースの連続だからだ。ツールがタイムアウトする。モデルが引数を幻覚する。エージェントがループし、トークン予算を使い果たす。このようなシステムをいくつかリリースした後、私は、耐久性のある設計上の問いは「エージェントはツールを呼び出せるか」ではなく、「ツール呼び出しがうまくいかなかった場合に何が起こるか」であることを学んだ。