Google AI & Infrastructureチームは、Mercorと協力して、新しいベンチマークおよび公開コンペティションであるPhysical-Engineering's Last Exam (PLE)をローンチしました。PLEは、機械工学、電気工学、土木工学、構造工学のタスクを完了するフロンティアモデルの能力を評価します。この取り組みは、主に教科書の質問や孤立した設計問題に焦点を当てた既存のベンチマークのギャップに対処するものです。Humanity's Last ExamやAgents' Last Examのような以前の試験とは異なり、PLEは物理的な世界構築タスクに対するAIの能力を具体的に測定します。PLEは、平均61ファイルからなる85のロングホライゾンタスクで構成されており、実際のエンジニアリングプロジェクトを反映しています。これらのファイルには様々なエンジニアリング文書が含まれており、エージェントはコード、制限、計算を理解して、本番稼働可能な成果物を生成する必要があります。タスクは、実践的なエンジニアとの協力によって開発され、専門家によって作成されたか、エージェントパイプラインと共同で作成されました。7つのエージェントハーネスを使用した14のフロンティアモデルでの初期テストでは、すべてのモデルがプライベートテストセットで50%未満のスコアでした。最もパフォーマンスの高いモデルは、平均スコア48.3%を達成しました。重要な発見は、共同作成されたタスクにおける個々の制約の91%を満たしているにもかかわらず、トップスコアのエージェント成果物のうち、安全および実現可能性の厳格なチェックをすべて通過したのは41.3%に過ぎなかったことです。モデルの選択はパフォーマンスに大きく影響し、最大50ポイントの差が生じますが、ハーネスの影響は小さく（中央値3ポイントの差）、実行コストに影響します。このベンチマークは、物理的なエンジニアを支援できるAIツールを開発するための実践的な一歩を提供します。研究者は、ple-bench.comで29の公開タスク、採点ツールにアクセスし、公開コンペティションに参加できます。Googleは、自社のサーバーでの無料評価のために13のモデルをスポンサーしており、賞の詳細については近日中に発表される予定です。