视觉 - 语言模型在场景描述任务中已宣称达到人类水平，主要依赖于 MS-COCO 等简单基准测试。这些基准包含的场景较为简单，无法代表复杂的现实世界交互。以往评估常采用夸大感知进展的指标，通过奖励表面的词汇重叠来高估性能。在理解模型仍会犯哪些具体视觉 - 认知错误方面，存在显著的知识空白。为应对这一问题，研究人员构建了一个新数据集：复杂社会行为（Complex Social Behavior, CSB），包含 100 个具有挑战性的电影帧，需要社会推理能力。他们还开发了一种更可靠的语义相似度指标，该指标与人类判断的相关性优于现有评分。研究对九种模型进行了评估，涵盖从早期描述生成器到现代多模态大语言模型（MLLMs），评估对象包括 MS-COCO 和 CSB 两个数据集。分析采用五类错误分类法：检测错误、识别错误、幻觉错误、场景理解错误和空间依赖错误。结果表明，尽管预 MLLM 模型在 CSB 上表现不佳，但 MLLMs 在该复杂数据集上已达到人类水平。MLLMs 在两个数据集上基本消除了检测、识别、幻觉和场景理解类错误。MLLMs 目前主要的系统性失败在于空间依赖问题，即模型关注的图像区域与人类不同。与其他错误相比，此类错误对整体描述质量的影响较小。本研究表明，该领域已超越基础物体识别挑战，转向对关系推理更细致的理解。所提出的方法，包括按人类描述排序及语义相似度指标，提供了更稳健的评估框架。研究结果对于需要解释人类行为的应用至关重要，为 MLLMs 的能力提供了定量证据，并为未来模型发展提供了诊断性语言。然而，局限性包括样本量较小以及电影内容可能引入的偏差。未来工作可聚焦于具身化和三维感知架构，以进一步提升空间理解能力。