Команда Google AI & Infrastructure в сотрудничестве с Mercor запустила Physical-Engineering's Last Exam (PLE) — новый эталон и открытый конкурс. PLE оценивает способность передовых моделей выполнять задачи по механической, электрической, гражданской и строительной инженерии. Эта инициатива заполняет пробел в существующих эталонах, которые в основном сосредоточены на вопросах из учебников или изолированных задачах проектирования. В отличие от предыдущих экзаменов, таких как Humanity's Last Exam или Agents' Last Exam, PLE специально измеряет возможности ИИ в задачах, связанных с созданием физического мира.PLE состоит из 85 долгосрочных задач, отражающих реальные инженерные проекты, в среднем по 61 файлу на задачу. Эти файлы включают различные инженерные документы, требующие от агентов анализа кодов, ограничений и расчетов для создания готовых к производству результатов. Задачи были разработаны в сотрудничестве с практикующими инженерами, либо написаны экспертами, либо написаны в соавторстве с использованием конвейеров агентов.Первоначальное тестирование 14 передовых моделей с использованием семи систем агентов показало, что все модели набрали менее 50% на закрытом тестовом наборе. Наиболее эффективная модель достигла среднего балла 48,3%. Важным выводом стало то, что только 41,3% лучших результатов агентов прошли все строгие проверки безопасности и осуществимости, несмотря на удовлетворение 91% индивидуальных ограничений в задачах, написанных в соавторстве.Выбор модели существенно влияет на производительность, с разницей до 50 пунктов, в то время как системы агентов оказывают меньшее влияние (медианная разница 3 пункта), но влияют на стоимость выполнения. Этот эталон предлагает практический шаг к разработке инструментов ИИ, которые могут поддерживать инженеров-практиков. Исследователи могут получить доступ к 29 общедоступным задачам, инструментам оценки и присоединиться к открытому конкурсу на ple-bench.com. Google спонсирует бесплатную оценку 13 моделей на своих серверах, детали призов будут объявлены в ближайшее время.