RSS VentureBeat
Подписаться
Исследователи представляют Self-Harness, фреймворк, который позволяет ИИ-агентам переписывать собственные правила, повышая производительность до 60%.
Большинство компаний не могут создавать собственные продвинутые языковые модели ИИ, но они могут и должны настраивать системы, которые ими управляют, известные как "harnesses" (системы управления). Инженерия "harnesses" в настоящее время выполняется вручную, полагаясь на интуицию и эпизодическую отладку, что медленно и с трудом успевает за развитием ИИ. Исследователи представили "Self-Harness" — новый подход, при котором языковая модель ИИ улучшает свои собственные операционные правила, анализируя следы своего выполнения. Этот метод заменяет догадки эмпирическими данными, позволяя создавать надежных, настраиваемых агентов ИИ, которые адаптируются к слабостям модели. "Harness" включает в себя такие компоненты, как промпты, инструменты и память, и многие сбои ИИ связаны с проблемами "harness", а не с самой основной моделью. Ручная инженерия "harnesses" является узким местом из-за опоры на интуицию и отсутствия систематических циклов обратной связи. Поскольку новые модели ИИ выпускаются быстро, ручная настройка становится все более непрактичной и дорогостоящей. "Self-Harness" позволяет агентам ИИ итеративно улучшать свои "harnesses" посредством поиска слабых мест, предложения "harness" и проверки предложений. Этот процесс позволяет агентам выявлять закономерности сбоев и генерировать целенаправленные модификации "harness", которые затем тщательно тестируются. Эксперименты показали значительное улучшение производительности агентов ИИ после применения "Self-Harness", причем изменения были специфичны для повторяющихся проблем модели. Хотя "Self-Harness" автоматизирует инженерию "harnesses", он требует значительных вычислительных ресурсов и сильно зависит от точных конвейеров оценки. Он лучше всего подходит для сред, где сбои могут быть измерены, а метод проб и ошибок безопасен, например, в программировании и DevOps. Роль инженеров-людей смещается от ручной настройки промптов к проектированию систем обратной связи, которые обеспечивают самосовершенствование ИИ, становясь "архитекторами обратной связи".
