RSS VentureBeat
팔로우
연구진은 AI 에이전트가 자체 규칙을 재작성하여 성능을 최대 60%까지 향상시킬 수 있는 프레임워크인 Self-Harness를 소개합니다.
대부분의 기업은 자체적으로 고급 AI 언어 모델을 구축할 수 없지만, 이를 제어하는 시스템, 즉 하네스(harnesses)를 맞춤 설정할 수 있으며 그렇게 해야 합니다. 하네스 엔지니어링은 현재 직관과 임시 디버깅에 의존하여 수동으로 이루어지는데, 이는 느리고 진화하는 AI를 따라잡기 어렵습니다. 연구자들은 AI 언어 모델이 실행 추적을 분석하여 자체 운영 규칙을 개선하는 새로운 접근 방식인 "셀프-하네스(Self-Harness)"를 도입했습니다. 이 방법은 추측을 경험적 증거로 대체하여 모델의 약점에 적응하는 강력하고 맞춤화된 AI 에이전트를 가능하게 합니다. 하네스는 프롬프트, 도구, 메모리와 같은 구성 요소를 포함하며, 많은 AI 실패는 핵심 모델 자체보다는 하네스 문제에서 비롯됩니다. 수동 하네스 엔지니어링은 직관에 대한 의존성과 체계적인 피드백 루프의 부족으로 인해 병목 현상을 겪고 있습니다. 새로운 AI 모델이 빠르게 출시됨에 따라 수동 조정은 점점 더 비현실적이고 비용이 많이 들게 됩니다. 셀프-하네스는 AI 에이전트가 약점 채굴, 하네스 제안 및 제안 검증을 통해 하네스를 반복적으로 개선할 수 있도록 합니다. 이 프로세스를 통해 에이전트는 실패 패턴을 식별하고 엄격하게 테스트되는 표적 하네스 수정을 생성할 수 있습니다. 실험 결과, 셀프-하네스를 적용한 후 AI 에이전트의 성능이 크게 향상되었으며, 수정 사항은 반복되는 모델 문제에 특화되었습니다. 셀프-하네스는 하네스 엔지니어링을 자동화하지만, 상당한 컴퓨팅 리소스가 필요하며 정확한 평가 파이프라인에 크게 의존합니다. 코딩 및 DevOps와 같이 실패를 측정할 수 있고 시행착오가 안전한 환경에 가장 적합합니다. 인간 엔지니어의 역할은 수동 프롬프트 조정에서 AI 자체 개선을 가능하게 하는 피드백 시스템을 설계하는 것으로 전환되어 "피드백 설계자(feedback architects)"가 됩니다.
