Модели, объединяющие зрение и язык, продемонстрировали производительность на уровне человека в описании сцен, в основном используя простые эталонные наборы данных, такие как MS-COCO. Эти эталонные наборы данных содержат простые сцены и не отражают сложных реальных взаимодействий. Предыдущие оценки часто опирались на метрики, которые раздували воспринимаемый прогресс, вознаграждая поверхностное совпадение слов. Существовал значительный пробел в понимании того, какие конкретные визуально-когнитивные ошибки по-прежнему совершают модели.Для решения этой проблемы исследователи создали новый набор данных "Сложное социальное поведение" (CSB), состоящий из 100 сложных кадров из фильмов, требующих социального рассуждения. Они также разработали более надежную метрику семантического сходства, которая лучше коррелирует с человеческими суждениями, чем существующие оценки. Девять моделей, от старых генераторов подписей до современных мультимодальных больших языковых моделей (MLLM), были оценены как на MS-COCO, так и на CSB. Для анализа ошибок моделей использовалась пятиуровневая таксономия ошибок: обнаружение, распознавание, галлюцинация, понимание сцены и пространственная зависимость.Результаты показали, что, хотя до-MLLM модели показывали низкие результаты на CSB, MLLM достигли производительности на уровне человека на этом сложном наборе данных. MLLM в значительной степени устранили ошибки обнаружения, распознавания, галлюцинации и понимания сцены на обоих наборах данных. Основной оставшейся систематической ошибкой для MLLM является пространственная зависимость, когда модели фокусируются на других областях изображения, чем люди. Эта ошибка менее вредна для общего качества описания, чем другие.Это исследование предполагает, что область вышла за рамки базовых задач распознавания объектов и перешла к более тонкому пониманию реляционных рассуждений. Методология, включая ранжированные описания людей и метрики семантического сходства, обеспечивает более надежную основу для оценки. Полученные результаты имеют решающее значение для приложений, требующих интерпретации человеческого поведения, предлагая количественные доказательства возможностей MLLM и диагностический язык для будущей разработки моделей. Однако ограничения включают небольшой размер выборки и потенциальные смещения, связанные с кинематографическим контентом. Будущая работа может быть сосредоточена на воплощенных и 3D-ориентированных архитектурах для дальнейшего улучшения пространственного понимания.