"현대의 대화형 AI는 복잡한 작업을 처리할 수 있지만, 긴 상호작용에서는 세부 사항을 잊거나 관련성을 잃는 등 어려움을 겪습니다. 개선을 위한 실제 사람 테스트는 비용이 많이 들고 확장하기 어렵습니다. LLM 기반의 사용자 시뮬레이터는 확장 가능한 대안을 제공하지만, 비정상적인 인내심이나 지식을 보이는 등 현실성이 부족한 경우가 많습니다. 이러한 현실성 격차를 해소하기 위해 ConvApparel이라는 새로운 데이터셋이 개발되었습니다. 이 데이터셋은 이중 에이전트 프로토콜을 사용하여 수집된 의류 쇼핑 도메인에서의 인간-AI 대화로 구성됩니다. 참가자들은 도움이 되는 AI 에이전트 또는 의도적으로 도움이 되지 않는 AI 에이전트와 상호작용했습니다. ConvApparel에는 만족도 및 좌절감과 같은 사용자 상태에 대한 상세한 턴별 주석이 포함되어 있습니다. 시뮬레이터 충실도를 평가하기 위해 3가지 기둥으로 구성된 검증 프레임워크가 만들어졌습니다. 이 프레임워크에는 모집단 수준의 통계적 정렬, 인간 유사성 점수, 반사실적 검증이 포함됩니다. 반사실적 검증은 시뮬레이터가 예상치 못한, 분포 외의 어시스턴트 행동에 어떻게 적응하는지 평가합니다. 실험 결과, 데이터 기반 시뮬레이터(ICL 및 SFT)가 프롬프트 기반 시뮬레이터보다 개선되었지만, 현실성 격차는 여전히 존재했습니다. 그러나 데이터 기반 시뮬레이터는 좌절감을 주는 "나쁜 에이전트"와 상호작용할 때 행동을 현실적으로 전환함으로써 견고성을 입증했습니다. ConvApparel 데이터셋과 프레임워크는 신뢰할 수 있는 대화형 AI 개발에 중요한 사용자 시뮬레이터의 현실성 격차를 측정하고 해소하기 위한 도구를 제공합니다."