통신 회사 KDDI는 생성형 AI 애플리케이션인 Buffmee에서 품질과 속도의 균형을 맞추는 데 어려움을 겪었습니다. Buffmee는 100개 이상의 다양한 출처에 기반한 정보를 제공하여 사용자의 성장을 돕고, 신뢰성을 보장하며 환각을 방지하도록 설계되었습니다. 초기 KDDI는 지연 시간 문제와 방대한 양의 독점 콘텐츠를 처리해야 하는 필요성으로 어려움을 겪었습니다. 이러한 장애물을 극복하기 위해 자동화된 평가 프레임워크와 성능 최적화 기법을 구현했습니다.이러한 체계적인 접근 방식은 상당한 개선으로 이어져 총 애플리케이션 응답 지연 시간을 38% 줄이고 첫 토큰까지의 시간(TTFT)을 거의 18% 향상시켰습니다. KDDI는 자동화된 테스트를 위해 Gemini Enterprise Agent Platform Evaluation Service를 활용하여 수동 작업을 데이터 기반 프로세스로 대체했으며, 이는 근거 점수를 25% 향상시켰습니다. 그들은 이진 평가 시스템, 형식 및 미디어 구성에 기반한 전략적 콘텐츠 샘플링, 그리고 제품 판단에 기반한 보정된 임계값을 채택했습니다.병목 현상은 BigQuery Agent Analytics와 Agent Development Kit(ADK) 로그 분석 에이전트를 사용하여 식별 및 해결되었으며, 이는 프롬프트 과다 및 스킬 분할 문제를 정확히 파악하는 데 도움이 되었습니다. 대규모 시스템 프롬프트는 주의력 드리프트를 피하고 응답 시간을 최적화하기 위해 ADK 스킬로 모듈화되었습니다. 이러한 기법을 통해 KDDI는 수집된 콘텐츠가 즉시 작동하는 RAG 시스템을 구축할 수 있었고, 사용자에게 미디어를 탐색할 수 있는 안전하고 개인화된 방법을 제공했습니다. Buffmee의 성공은 신뢰할 수 있는 생성형 AI 애플리케이션을 위한 체계적인 평가 및 성능 분석의 중요성을 보여줍니다.