デモは常にうまくいく。PDFをノートブックに貼り付け、チャンクに分割し、ホストされたモデルで埋め込み、ベクトルをインデックスにプッシュし、質問をする。回答が返ってきて、皆がうなずき、プロトタイプはチームチャンネルで承認される。その後、ほとんどのRAGプロジェクトを終わらせる質問が投げかけられる。「ドキュメントが変更されたらどうなるのか？」私はチームがベクタ検索プロトタイプを午後にリリースし、その後3ヶ月かけて実際に実行できるものに変えていくのを見てきた。難しいのは類似性の計算では決してなかった。それはその下にある退屈な運用上の現実だった。夜間に編集されるドキュメント、静かに古くなるインデックス、新しいバージョンが登場する埋め込みモデル、そしてどの行がどの回答に供給されたかを正確に知りたいガバナンスチーム。