Google AI 与基础设施团队与 Mercor 合作推出了 Physical-Engineering's Last Exam（PLE），一项新的基准测试与开放竞赛。PLE 评估前沿模型完成机械、电气、土木及结构工程任务的能力。该举措填补了现有基准的空白，后者主要集中于教科书式问题或孤立的工程设计问题。与以往如“人类终极考试”或“智能体终极考试”不同，PLE 专门衡量 AI 在物理世界构建任务方面的能力。PLE 包含 85 个长周期任务，模拟真实世界工程项目，每个任务平均涉及 61 个文件。这些文件涵盖各类工程文档，要求智能体通过代码、规范限制和计算进行推理，以生成可交付的生产就绪成果。这些任务通过与从业工程师合作开发而成，或由专家撰写，或与智能体流水线共同完成。在 14 个前沿模型上使用七种智能体框架进行的初步测试显示，所有模型在私有测试集上的得分均低于 50%。表现最佳的模型平均得分为 48.3%。一项重要发现是，尽管在共同撰写的任务中满足了 91% 的单项约束，但仅有 41.3% 的高分智能体交付成果通过了所有严格的安全性与可行性检查。模型选择对性能影响显著，得分差距可达 50 分；而框架的影响较小（中位数为 3 分差距），但会影响运行成本。该基准为开发能够支持物理工程师的 AI 工具提供了务实的一步。研究人员可访问 29 个公开任务、评分工具，并前往 ple-bench.com 加入开放竞赛。Google 将免费在其服务器上为 13 个模型提供评估服务，奖金详情即将公布。