電気通信会社KDDIは、生成AIアプリケーション「Buffmee」において、品質と速度のバランスを取るという課題に直面していました。Buffmeeは、100以上の多様な情報源に基づいた情報を提供することで、ユーザーの成長を支援し、信頼性を確保し、ハルシネーションを防ぐように設計されています。当初、KDDIはレイテンシの問題と、膨大な量の独自コンテンツを処理する必要性に苦労していました。これらの障害を克服するために、自動評価フレームワークとパフォーマンス最適化技術を導入しました。この体系的なアプローチにより、アプリケーション全体の応答レイテンシを38%削減し、Time To First Token（TTFT）を約18%改善するという顕著な進歩を遂げました。KDDIは、Gemini Enterprise Agent Platform Evaluation Serviceを自動テストに利用し、手作業による作業をデータ駆動型のプロセスに置き換え、グラウンデッドネススコアを25%向上させました。フォーマットとメディア構成に基づいたバイナリ評価システム、戦略的なコンテンツサンプリング、そして製品の判断に基づいたしきい値の調整を採用しました。BigQuery Agent AnalyticsとAgent Development Kit（ADK）のログ分析エージェントを使用してボトルネックを特定し、解決しました。これにより、プロンプトの肥大化とスキルの分割の問題を特定することができました。大規模なシステムプロンプトは、アテンションのドリフトを回避し、応答時間を最適化するためにADKスキルにモジュール化されました。これらの技術により、KDDIは取り込まれたコンテンツが即座に機能するRAGシステムを作成し、ユーザーにメディアを探索するための安全でパーソナライズされた方法を提供することができました。Buffmeeの成功は、信頼性の高い生成AIアプリケーションにおける体系的な評価とパフォーマンス分析の重要性を示しています。