真剣なRAGデプロイメントを数ヶ月行うと、ほとんどのエンジニアリングチームは同じ壁にぶつかる傾向があります。AI搭載の支払いアシスタントのデモは美しく機能しました。20人の社内ユーザーによるパイロットも美しく機能しました。その後、本番稼働し、誰かが医療給付金や失敗した電信送金について質問すると、モデルは自信を持って何かを作り出し、突然「チャットボット」は、ポストモーテムでチームの誰も聞きたくない言葉になります。その修正は、より賢いプロンプトではありません。それは、モデルが時折間違えること、時折答えるべきでないことを尋ねられること、そして時折完全に脇にどいて、人間への引き継ぎが必要になることを前提としたアーキテクチャです。もし今日私がそのシステムを構築するとしたら、このように構造化します。