대규모 테스트 실패 진단: 임시 실행기 간 실행 증거 상관 관계 분석
분산 CI/CD 환경에서 간헐적인 테스트 실패는 개발 속도를 늦추고 실패 조사 과정을 어렵게 만들 수 있습니다. 자동화된 테스트 스위트가 로컬 개발 또는 스테이징 머신에서 실패할 경우, 엔지니어는 로컬 로그를 확인하거나 디버거를 연결하거나 상태 변경을 수동으로 추적할 수 있습니다. 하지만 테스트가 임시 컨테이너, AWS Lambda 또는 에이전트 없는 러너에서 실행될 경우, 사후 디버깅은 훨씬 더 복잡해집니다.전통적인 설정에서는 실패한 빌드가 일반적인 assertion 오류(504, ElementNotFoundException 등)만 보여줍니다. 엔지니어는 대략적인 타임스탬프를 찾기 위해 CloudWatch 로그 그룹을 수동으로 뒤지거나, Splunk를 쿼리하거나, 다운스트림 마이크로서비스 전반의 상태 변경을 추론하여 테스트가 실패한 이유를 이해해야 할 수 있습니다. 로그 보존 기간이 만료되거나 실행에 공유되고 식별 가능한 상관 ID가 없는 경우, 엔지니어는 실패 원인에 대한 추가 정보를 얻을 수 없습니다.