現代の会話型AIは複雑なタスクをこなせますが、長時間の対話では詳細を忘れがちになったり、文脈から外れたりして苦労しています。改善のための実際の人間によるテストは高価で、規模を拡大するのが困難です。LLMを搭載したユーザーシミュレーターは、規模を拡大できる代替手段を提供しますが、しばしば異常な忍耐力や知識を示し、現実味に欠けることがあります。この現実味のギャップに対処するため、ConvApparelという新しいデータセットが開発されました。このデータセットは、アパレルショッピングのドメインにおける人間とAIの会話で構成されており、デュアルエージェントプロトコルを使用して収集されました。参加者は、親切なAIエージェントまたは意図的に役に立たないAIエージェントのいずれかと対話しました。ConvApparelには、満足度やフラストレーションなどのユーザーの状態に関する詳細なターンごとのアノテーションが含まれています。シミュレーターの忠実度を評価するために、3つの柱からなる検証フレームワークが作成されました。このフレームワークには、集団レベルでの統計的整合性、人間らしさスコア、および反実仮想検証が含まれます。反実仮想検証は、シミュレーターが予期しない、分布外のアシスタントの行動にどのように適応するかを評価します。実験では、データ駆動型シミュレーター（ICLとSFT）がプロンプトベースのシミュレーターよりも改善されたものの、現実味のギャップは依然として存在することが示されました。しかし、データ駆動型シミュレーターは、フラストレーションを感じさせる「悪いエージェント」との対話において、現実的に行動をシフトさせることで堅牢性を示しました。ConvApparelデータセットとフレームワークは、信頼性の高い会話型AIの開発に不可欠な、ユーザーシミュレーターの現実味のギャップを測定し、埋めるためのツールを提供します。