ビジョン・言語モデルは、主にMS-COCOのような簡単なベンチマークを使用して、シーン記述において人間レベルのパフォーマンスを主張してきた。これらのベンチマークは単純なシーンを特徴としており、複雑な現実世界の相互作用を代表するものではない。以前の評価では、表面的な単語の重複を報酬として認識された進歩を誇張する指標に依存することが多かった。モデルが依然として犯す特定の視覚的・認知的エラーを理解する上で、大きなギャップが存在した。この問題に対処するため、研究者たちは、社会的推論を必要とする100の挑戦的な映画フレームで構成される新しいデータセット、Complex Social Behavior (CSB) を作成した。また、既存のスコアよりも人間の判断との相関が高い、より信頼性の高い意味的類似性メトリックも開発した。古いキャプショナーから最新のマルチモーダル大規模言語モデル（MLLM）まで、9つのモデルがMS-COCOとCSBの両方で評価された。5つのエラー分類（検出、認識、幻覚、シーン理解、空間依存性）を使用して、モデルの失敗を分析した。結果は、MLLM以前のモデルがCSBで低パフォーマンスだったのに対し、MLLMはこの複雑なデータセットで人間レベルのパフォーマンスを達成したことを示した。MLLMは、両方のデータセットで検出、認識、幻覚、シーン理解のエラーを大幅に排除した。MLLMの主な残存する体系的な失敗は空間依存性であり、モデルは人間とは異なる画像領域に焦点を当てる。このエラーは、他のエラーよりも全体的な記述の質への影響は少ない。この研究は、この分野が基本的なオブジェクト認識の課題を超え、関係推論のより微妙な理解に進んだことを示唆している。ランク付けされた人間の記述や意味的類似性メトリックを含む方法論は、より堅牢な評価フレームワークを提供する。この発見は、人間の行動の解釈を必要とするアプリケーションにとって重要であり、MLLMの能力に関する定量的証拠と、将来のモデル開発のための診断言語を提供する。しかし、限界には、サンプルサイズの小ささと、映画コンテンツからの潜在的なバイアスが含まれる。今後の研究では、空間理解をさらに向上させるために、エンボディドおよび3D認識アーキテクチャに焦点を当てる可能性がある。