健全なセキュリティオペレーションセンターのアラートシステムには、誤検知の微調整以上のものが必要です。また、重要だがまれな検出が機能していることを確認する必要があります。GitLabのSignals Engineeringチームは、このギャップに対処するためにWATCH（Weekly Attack Testing for Continuous Health）と呼ばれるフレームワークを開発しました。WATCHは、インフラストラクチャ上で実際の悪意のある動作をシミュレートすることにより、セキュリティ検出の検証を自動化します。このプロセスは、ログソースからSIEM、セキュリティオーケストレーションまでのエンドツーエンドのアラートパイプラインを検証します。WATCHは、ステージング環境でスクリプト化された攻撃シミュレーションをスケジュールし、その後、期待されるアラートが監視スタックを通過することを検証することで機能します。テストが実行される前に、WATCHは期待される検出をSOARシステムに通知し、追跡可能なレコードを作成します。次に、シミュレートされた悪意のある動作が実行され、SIEMはログを処理して検出ルールをトリガーします。SOARに到着したアラートは、誤ったエスカレーションを防ぐために登録されたテストと相関されます。検証ステージは、すべての期待される検出がトリガーされたかどうかを確認し、検出ステータスメタデータを更新し、結果をGitLab Pagesダッシュボードにデプロイします。失敗はチームへの即時通知をトリガーします。WATCHは、GitLab CI/CDを使用して、スケジューリング、テスト実行、検証/レポートの3つのステージでオーケストレーションされます。このフレームワークは使いやすさを考慮して設計されており、チームメンバーは基本クラスをサブクラス化し、セットアップ、実行、クリーンアップ手順を定義することで、新しいテストを作成できます。期待される検出の設定、SIEMルール名を期待されるアラート到着時刻にマッピングすることは、重要な側面です。WATCHテストは、特定の悪意のある動作のプロンプトを提供することで、GitLab Duo（AIアシスタント）を使用して簡単にスキャフォールディングできます。これにより、新しいテストの作成の敷居が大幅に下がります。Duo Agent Skillsは、優れたテストプラクティスとヘルパー関数の詳細な概要を提供することで、一貫性をさらに向上させます。WATCHは、GitLab Pagesを介してデプロイされる2つのインタラクティブダッシュボードも提供し、検出の健全性に関するリアルタイムの可視性を提供します。1つのダッシュボードであるDetection Status Dashboardは、すべての検出ルールの現在のテストステータスを要約します。もう1つのDetection Test Results Dashboardは、個々のテスト結果の詳細な分析を提供します。この包括的なアプローチにより、セキュリティアラートシステムの信頼性と有効性が保証されます。