새벽 2시에 의도적으로 쿠버네티스 클러스터를 파괴했습니다. 가장 먼저 죽은 것은 이것이었습니다.
홈랩 환경에서도 카오스 엔지니어링은 숨겨진 취약점을 발견하는 데 매우 중요합니다. 다양한 클라우드 네이티브 도구를 갖추고 있어 서류상으로는 견고해 보이는 홈랩 쿠버네티스 클러스터도 스트레스 하에서는 취약하다는 것이 밝혀졌습니다. 테스트 결과, 쿠버네티스의 빠른 파드 재생성 기능이 상태 저장 워크로드에는 확장되지 않으며, 데이터베이스 장애 조치에 상당한 시간이 소요되는 것으로 나타났습니다. 노드가 서비스 중단을 일으킬 만큼 오랫동안 "Ready" 상태를 유지했지만 워크로드의 정상적인 마이그레이션을 허용하지 않아 네트워크 분할이 분산 교착 상태를 유발했습니다. 물리적 노드 장애는 베어메탈에 대한 기본 쿠버네티스 타임아웃이 과도하게 길다는 것을 드러내 서비스 가용 시간을 장기적으로 연장시켰습니다. 컨트롤 플레인을 스트레스 테스트한 결과, 단일 노이즈 프로세스에 취약하여 중요 서비스 전반에 걸쳐 연쇄적인 장애가 발생했습니다. 마지막으로 DNS 장애는 전체 클러스터를 동시에 마비시켜 근본적인 중요성을 강조했습니다. 이러한 테스트는 클러스터의 실제 평균 복구 시간을 효과적으로 드러내어 필요한 구성 조정을 촉진했습니다.