Google AI & Infrastructure 팀은 Mercor와 협력하여 새로운 벤치마크이자 공개 대회인 Physical-Engineering's Last Exam (PLE)을 출시했습니다. PLE는 최첨단 모델의 기계, 전기, 토목 및 구조 공학 과제 수행 능력을 평가합니다. 이 이니셔티브는 주로 교과서 문제나 개별 설계 문제에 초점을 맞춘 기존 벤치마크의 격차를 해소합니다. Humanity's Last Exam 또는 Agents' Last Exam과 같은 이전 시험과 달리 PLE는 물리적 세계 구축 작업에 대한 AI의 능력을 구체적으로 측정합니다.PLE는 실제 엔지니어링 프로젝트를 반영하는 85개의 장기 과제로 구성되며, 과제당 평균 61개의 파일이 포함됩니다. 이 파일에는 다양한 엔지니어링 문서가 포함되어 있으며, 에이전트는 코드, 제한 사항 및 계산을 통해 추론하여 실제 생산 가능한 결과물을 생성해야 합니다. 이 과제들은 현직 엔지니어와의 협력을 통해 개발되었으며, 전문가가 작성하거나 에이전트 파이프라인과 공동으로 작성되었습니다.7개의 에이전트 하네스를 사용하여 14개의 최첨단 모델에 대한 초기 테스트 결과, 모든 모델이 비공개 테스트 세트에서 50% 미만의 점수를 기록했습니다. 가장 높은 성능을 보인 모델은 평균 48.3%의 점수를 달성했습니다. 중요한 발견은 공동 작성 과제에서 개별 제약 조건의 91%를 충족했음에도 불구하고, 최고 점수를 받은 에이전트 결과물의 41.3%만이 모든 엄격한 안전 및 타당성 검사를 통과했다는 것입니다.모델 선택은 성능에 상당한 영향을 미치며 최대 50점의 차이를 보이지만, 하네스는 영향이 적고(중앙값 3점 차이) 실행 비용에 영향을 미칩니다. 이 벤치마크는 물리적 엔지니어를 지원할 수 있는 AI 도구 개발을 향한 실질적인 단계를 제공합니다. 연구원들은 ple-bench.com에서 29개의 공개 과제, 채점 도구에 액세스하고 공개 대회에 참여할 수 있습니다. Google은 자사 서버에서 13개 모델의 무료 평가를 후원하고 있으며, 상금 세부 정보는 곧 발표될 예정입니다.