비전-언어 모델은 주로 MS-COCO와 같은 쉬운 벤치마크를 사용하여 장면 설명에서 인간 수준의 성능을 달성했다고 주장해왔습니다. 이러한 벤치마크는 단순한 장면을 특징으로 하며 복잡한 실제 상호 작용을 대표하지 않습니다. 이전 평가에서는 종종 피상적인 단어 중복을 보상함으로써 인식된 진행 상황을 부풀리는 지표에 의존했습니다. 모델이 여전히 저지르는 특정 시각-인지 오류를 이해하는 데 상당한 격차가 존재했습니다.이를 해결하기 위해 연구자들은 사회적 추론을 요구하는 100개의 어려운 영화 프레임으로 구성된 새로운 데이터셋인 복잡한 사회적 행동(CSB)을 만들었습니다. 또한 기존 점수보다 인간의 판단과 더 잘 상관되는 보다 신뢰할 수 있는 의미론적 유사성 지표를 개발했습니다. 오래된 캡셔너부터 최신 멀티모달 대규모 언어 모델(MLLM)까지 9가지 모델이 MS-COCO와 CSB 모두에서 평가되었습니다. 5가지 오류 분류 체계(탐지, 인식, 환각, 장면 이해 및 공간 의존성)를 사용하여 모델의 실패를 분석했습니다.결과에 따르면 MLLM 이전 모델은 CSB에서 성능이 저조했지만, MLLM은 이 복잡한 데이터셋에서 인간 수준의 성능을 달성했습니다. MLLM은 두 데이터셋 모두에서 탐지, 인식, 환각 및 장면 이해 오류를 대부분 제거했습니다. MLLM의 주요 남은 체계적 실패는 공간 의존성으로, 모델이 인간과 다른 이미지 영역에 초점을 맞춥니다. 이 오류는 다른 오류보다 전반적인 설명 품질에 미치는 영향이 적습니다.이 연구는 이 분야가 기본적인 객체 인식 과제를 넘어 관계 추론에 대한 보다 미묘한 이해로 나아갔음을 시사합니다. 순위가 매겨진 인간 설명과 의미론적 유사성 지표를 포함한 방법론은 보다 강력한 평가 프레임워크를 제공합니다. 이러한 결과는 인간 행동 해석을 요구하는 응용 프로그램에 중요하며, MLLM의 기능을 정량적으로 입증하고 향후 모델 개발을 위한 진단 언어를 제공합니다. 그러나 한계에는 적은 표본 크기와 영화 콘텐츠로 인한 잠재적 편향이 포함됩니다. 향후 연구는 공간 이해를 더욱 향상시키기 위해 구현 및 3D 인식 아키텍처에 초점을 맞출 수 있습니다.