1Password의 AI 패치에 대한 최근 보고서는 결함이 있으며 오해의 소지가 있는 26%의 클린 수정율을 제시합니다. 이 수치는 AI 에이전트에게 의도적으로 잘못된 수정을 적용하도록 지시한 실험과 에이전트가 패치를 컴파일하거나 테스트할 수 없었던 시험으로 인해 왜곡되었습니다. 보고서의 방법론에는 어려운 취약점 샘플, 22%의 경우 에이전트에게 잘못된 수정을 적용하도록 지시한 프롬프트, 시험의 3분의 1에서 테스트를 금지한 내용이 포함되었습니다. 또한 모델에 대해 일관성 없는 추론 설정을 사용했으며 채점 중에 의도된 동작 변경을 불이익으로 처리했습니다.잘못된 지침이 있거나 테스트가 없는 시험을 제외한 1Password의 데이터를 재분석한 결과, 패치의 86%가 제공된 익스플로잇을 차단하여 유용한 패치 기능을 입증했습니다. 이는 보고서의 헤드라인과 모순되며 합리적인 조건 하에서 AI의 상당한 능력을 나타냅니다. 자동 채점 또한 인간 검토자와의 낮은 일치율과 불완전한 수리를 수락하거나 유효한 수정을 회귀로 표시하는 사례를 포함하여 문제가 있었습니다.인간 개발자조차도 이상적인 조건에서 상세한 보고서와 전문가 검토를 받더라도 실수를 하며, Trail of Bits 보안 평가에서 첫 번째 수정의 12.5%가 문제를 완전히 해결하지 못했습니다. 실제 프로젝트에서 OpenAI와의 공동 이니셔티브인 Patch the Planet에서는 유지보수자가 AI 지원 풀 요청의 67.7%를 병합했으며, 그중 72.2%는 보안 관련 수정 없이 수락되었습니다. 특히 한 사례에서는 freenginx 메모리 안전 버그를 처리하면서 유지보수자와 AI 에이전트가 독립적으로 동일한 충돌을 도입하여 일반적인 함정을 강조했습니다.이후 Patch the Planet 프로젝트에서 33,500개의 후속 커밋을 검토했으며, 패치로 인해 기능 버그, 빌드/테스트/릴리스 자동화 버그 및 성능 문제가 발생했지만 악용 가능한 보안 취약점은 발견되지 않았습니다. AI 패치를 개선하기 위해 두 가지 새로운 에이전트 스킬을 출시합니다. AI 에이전트가 보안 수정을 엄격하게 테스트하도록 돕는 "post-patch-validation"과 엔지니어가 코드 변경을 검토하는 데 도움을 주는 "review-walkthrough"입니다. post-patch-validation 스킬은 에이전트가 원본 버그를 재현하고, 대안적인 실패 경로를 테스트하고, 회귀를 확인하는 과정을 안내하여 불완전한 수정을 더 일찍 포착하는 것을 목표로 합니다.