건강한 보안 운영 센터(SOC) 경고 시스템은 오탐(false positive)을 미세 조정하는 것 이상을 요구하며, 중요하지만 드물게 발생하는 탐지가 제대로 작동하는지 확인해야 합니다. GitLab의 Signals Engineering 팀은 이러한 격차를 해소하기 위해 WATCH(Weekly Attack Testing for Continuous Health)라는 프레임워크를 개발했습니다. WATCH는 실제 악성 행위를 인프라에서 시뮬레이션하여 보안 탐지를 자동화합니다. 이 프로세스는 로그 소스부터 SIEM 및 보안 오케스트레이션에 이르기까지 엔드투엔드 경고 파이프라인을 검증합니다.WATCH는 스테이징 환경에서 스크립트된 공격 시뮬레이션을 예약한 다음, 예상되는 경고가 모니터링 스택을 통해 전파되는지 확인하는 방식으로 작동합니다. 테스트가 실행되기 전에 WATCH는 예상되는 탐지를 SOAR 시스템에 알림으로써 추적 가능한 기록을 생성합니다. 그런 다음 시뮬레이션된 악성 행위가 실행되고, SIEM은 로그를 처리하여 탐지 규칙을 발동시킵니다. SOAR에 도착하는 경고는 등록된 테스트와 상관 관계를 분석하여 잘못된 에스컬레이션을 방지합니다.검증 단계는 예상되는 모든 탐지가 발동되었는지 확인하고, 탐지 상태 메타데이터를 업데이트하며, 결과를 GitLab Pages 대시보드에 배포합니다. 실패 시 팀에 즉시 알림이 트리거됩니다. WATCH는 GitLab CI/CD를 사용하여 예약, 테스트 실행, 검증/보고의 세 단계에 걸쳐 오케스트레이션됩니다. 이 프레임워크는 사용 편의성을 위해 설계되었으며, 팀 구성원은 기본 클래스를 서브클래싱하고 설정, 실행 및 정리 절차를 정의하여 새로운 테스트를 만들 수 있습니다.SIEM 규칙 이름을 예상되는 경고 도착 시간과 매핑하는 예상 탐지 구성은 핵심적인 측면입니다. WATCH 테스트는 특정 악성 행위에 대한 프롬프트를 제공함으로써 GitLab Duo, AI 어시스턴트를 사용하여 쉽게 스캐폴딩할 수 있습니다. 이는 새로운 테스트 생성의 진입 장벽을 크게 낮춥니다. Duo Agent Skills는 좋은 테스트 관행 및 도우미 함수의 상세한 개요를 제공하여 일관성을 더욱 향상시킵니다.WATCH는 또한 GitLab Pages를 통해 배포되는 두 개의 대화형 대시보드를 제공하여 탐지 상태에 대한 실시간 가시성을 제공합니다. 탐지 상태 대시보드는 모든 탐지 규칙의 현재 테스트 상태를 요약합니다. 다른 탐지 테스트 결과 대시보드는 개별 테스트 결과에 대한 심층 분석을 제공합니다. 이러한 포괄적인 접근 방식은 보안 경고 시스템의 신뢰성과 효과성을 보장합니다.