电信公司 KDDI 在生成式 AI 应用 Buffmee 中面临平衡质量与速度的挑战。Buffmee 旨在通过基于超过 100 个多样化来源的信息帮助用户成长，确保可靠性并防止幻觉。最初，KDDI 在延迟问题和处理大量专有内容方面遇到困难。为克服这些障碍，他们实施了自动化评估框架和性能优化技术。这一系统性方法带来了显著改进，将应用程序总响应延迟降低了 38%，并将首字延迟（Time To First Token, TTFT）提升了近 18%。KDDI 利用 Gemini 企业代理平台评估服务（Gemini Enterprise Agent Platform Evaluation Service）进行自动化测试，以数据驱动的流程取代人工操作，使 groundedness 得分提高了 25%。他们采用了二元评估系统、基于格式和媒体构成的战略性内容采样，并根据产品判断校准阈值。瓶颈通过 BigQuery Agent Analytics 和代理开发套件（ADK）日志分析代理被识别并解决，后者有助于定位提示词膨胀和技能划分问题。大型系统提示词被模块化为 ADK Skills，以避免注意力漂移并优化响应时间。这些技术使 KDDI 能够构建一个 RAG 系统，其中摄入的内容可立即生效，为用户提供安全且个性化的媒体探索方式。Buffmee 的成功证明了系统性评估与性能分析对于可靠生成式 AI 应用的重要性。