エフェメラルランナー間での実行証拠の相関による大規模テスト失... ノート

エフェメラルランナー間での実行証拠の相関による大規模テスト失敗の診断

分散CI/CD環境における断続的なテスト失敗は、開発を遅延させ、失敗の調査を困難にします。自動化されたテストスイートがローカル開発マシンやステージングマシンで失敗した場合、エンジニアはローカルログを表示したり、デバッガをアタッチしたり、状態変更を手動で追跡したりできます。しかし、テストが一時的なコンテナ、AWS Lambda、またはエージェントレスランナーで実行される場合、事後デバッグは大幅に複雑になります。従来のセットアップでは、ビルドの失敗は一般的なアサーションエラー(504、ElementNotFoundExceptionなど)のみを示します。エンジニアは、おおよそのタイムスタンプのためにCloudWatchロググループを手動で検索したり、Splunkをクエリしたり、ダウンストリームマイクロサービス全体の状態変更について推論したりして、テストが失敗した理由を理解する必要があるかもしれません。ログ保持期間が終了した場合、または実行に共有可能で識別可能な相関IDがなかった場合、エンジニアは失敗の原因に関するさらなる情報を持っていません。