긴 대화가 흐르면서: AI 보조 코딩의 숨겨진 오류들

"저자는 긴 AI 채팅 세션에서 모델이 초기 제약 조건을 잊거나 우선순위를 낮추는 "컨텍스트 드리프트" 경험을 자세히 설명합니다. 이러한 드리프트는 잘못된 API 사용이나 호환되지 않는 언어 기능 제안과 같은 미묘하지만 영향력 있는 오류로 이어집니다. 이러한 오류는 종종 일련의 미세한 결정과 모델이 응답의 빈 부분을 채우는 것에서 발생합니다. 모델 출력은 다른 도구로 전달되어 누락된 검사나 잘못된 가정을 통해 오류를 증폭시킬 수 있습니다. 저자는 이러한 문제를 완화하기 위해 별도의 생성 및 검증 단계의 필요성을 강조합니다. 그들은 세션 강제 재설정, 포괄적인 로깅 및 필수 도구 출력 체크포인트와 같은 운영 변경 사항을 구현했습니다. 또한 런타임, 버전 및 스타일 가이드를 지정하기 위해 프롬프트에 명시적인 가드레일을 사용합니다. 저자는 또한 API 세부 정보 및 가정을 확인하기 위해 여러 모델과 연구 흐름을 사용합니다. 그들의 휴리스틱은 몇 번의 턴 후 또는 여러 하위 시스템이 관련된 경우 중지하고 검증하는 것입니다. 그들은 이제 종속성 변경을 새로운 프로젝트로 취급하고 모든 초안에 대해 명시적인 검증 및 로그를 요구합니다. 핵심 내용은 신중한 검증을 통해 작은 컨텍스트 드리프트가 소프트웨어 중단을 일으키는 것을 방지하는 것입니다."