음성 비서가 단순한 규칙 기반 시스템에서 대규모 언어 모델(LLM) 기반의 고급 대화 에이전트로 발전했습니다. 초기 음성 비서는 미리 정의된 명령으로 특정 작업만 처리할 수 있었습니다. 반면에 최신 LLM 기반 비서는 이제 길고 개방적인 대화에 참여하고, 복잡한 지시를 따르며, 다단계 추론을 수행할 수 있습니다. 이러한 향상된 기능은 새로운 평가 과제를 가져옵니다. 의도 분류 정확도, 슬롯 채우기 정확도/재현율, 목표 완료율과 같은 전통적인 지표로는 더 이상 음성 비서의 전반적인 품질을 파악할 수 없습니다. 비서의 응답은 사실 오류나 안전하지 않은 콘텐츠를 포함하더라도 유창하고 그럴듯하게 들릴 수 있습니다. 예를 들어, LLM 비서는 사용자의 "이탈리아 식당 찾기" 요청(의도)을 올바르게 식별하고 "다운타운" 위치(슬롯)를 추출할 수 있지만, 존재하지 않는 식당 이름을 응답할 수 있습니다. 전통적인 벤치마크는 사실 오류를 고려하지 않고 의도/슬롯 작업을 성공으로 표시할 것입니다. 따라서 사실성, 안전성, 추론 능력, 지시 이행 및 사용자 경험을 평가하기 위한 새로운 지표와 기술이 필요합니다.