このプロジェクトは、ローカルにデプロイされた大規模言語モデルでの実験として始まり、データプライバシーとクラウドベースのモデルプロバイダーからの独立を達成することを目標としていました。著者はLazyCat AI Podを購入し、Qwen 32Bモデルの蒸留版をデプロイしましたが、すぐにモデルの能力が限定的であり、応答が遅く時代遅れであることに気づきました。著者は汎用チャットボットの構築を試みましたが、使用がフラストレーションになり、クラウドベースのモデルと競争できませんでした。スコアチャットボットに範囲を絞ることがより実現可能に見えましたが、モデルは依然として現在のスコアとスポーツのルールの知識が不足していました。著者はルールとドキュメントを収集し、ベクトル検索を使用して質問応答ワークフローに統合しましたが、このアプローチにはコンテキストサイズの制約や情報過多などの限界がありました。著者はマルチモデルルーティングも実験しましたが、これは根本的なアーキテクチャの問題を解決しませんでした。ユーザーの意図に基づいて適切なスコアAPIを選択するために決定フローノードが追加されましたが、実装はキーワードマッチングに依存しており、多様な質問タイプや会話コンテキストを処理するには不十分であることが判明しました。このプロジェクトは、堅牢な意図認識、API計画、およびコンテキストエンジニアリングの必要性を含む、実用的で効果的な質問応答システムの構築における課題を浮き彫りにしました。著者の経験は、単にモデルをローカルにデプロイしても実用的な価値が保証されるわけではなく、有用で信頼性の高いアプリケーションを作成するには、システムのアーキテクチャと限界についての深い理解が必要であることを示しました。このプロジェクトは最終的に、成功する質問応答システムの構築の複雑さと、慎重な設計と実装の重要性に対するより大きな認識につながりました。