AI 코딩 에이전트는 코드를 생성하는 데 더욱 능숙해지고 있지만, 엔지니어링 판단을 평가하는 데 있어 중요한 과제가 남아 있습니다. 단순히 테스트를 통과하는 것만으로는 AI의 아키텍처 컨텍스트, 프로젝트 제약 조건 또는 과거 결정에 대한 이해를 보장하기에 충분하지 않습니다. AI가 스니펫에서 리포지토리 수정으로 발전함에 따라 이러한 컨텍스트적 정확성이 중요해집니다. SWE-bench와 같은 현재 벤치마크는 실제 소프트웨어 엔지니어링 문제를 해결하기 위해 발전하고 있지만, 작업 품질 및 오염과 같은 문제에도 직면해 있습니다. 저자는 AI 에이전트가 관련 없는 컨텍스트 변경 시 안정성을 유지하면서 관련 컨텍스트 변경에 적응하는 능력을 평가할 것을 제안합니다. 이는 단순한 합격/불합격 지표를 넘어 컨텍스트 적응 및 컨텍스트 안정성을 테스트하는 것을 포함합니다. 초점은 "얼마나 많은 컨텍스트"에서 "어떤 컨텍스트", "언제", "얼마나 신뢰할 수 있게"로 이동해야 합니다. 리포지토리 컨텍스트를 장기 프로젝트를 위한 수명 주기를 가진 동적 개체로 취급하는 것이 필수적입니다. 미래의 벤치마크는 소프트웨어 개발의 진화하는 특성을 반영하여 동적이어야 합니다. 궁극적인 질문은 AI 에이전트가 아키텍처, 요구 사항, 종속성 및 팀 관례를 포함하는 변화하는 소프트웨어 환경 속에서 건전한 엔지니어링 판단을 유지할 수 있는지 여부입니다. 이 복잡한 문제는 시각화, 설명 및 분석을 위한 정의된 "렌즈"를 사용하여 구조화할 수 있는 다양한 사고 접근 방식을 필요로 합니다.