音声アシスタントは、単純なルールベースのシステムから、大規模言語モデル（LLM）によって駆動される高度な会話エージェントへと進化しました。初期の音声アシスタントは、事前に定義されたコマンドで特定のタスクしか処理できませんでした。対照的に、最新のLLM搭載アシスタントは、長くてオープンエンドな会話を行い、複雑な指示に従い、多段階の推論を実行できるようになりました。これらの機能の向上は、新たな評価の課題をもたらします。意図分類の精度、スロット充填の精度/再現率、目標達成率などの従来の指標では、音声アシスタントの全体的な品質を捉えきれなくなりました。 アシスタントの応答は、事実誤認や安全でない内容を含んでいても、流暢でもっともらしく聞こえることがあります。例えば、LLMアシスタントは、「イタリアンレストランを探して」というユーザーのリクエスト（意図）を正しく認識し、「ダウンタウン」という場所（スロット）を抽出できたとしても、実際には存在しないレストラン名を応答する可能性があります。従来のベンチマークでは、事実誤認を考慮せずに、意図/スロットタスクを成功とマークしてしまうでしょう。したがって、事実性、安全性、推論能力、指示追従性、ユーザーエクスペリエンスを評価するための新しい指標と技術が必要とされています。