우리는 온콜(on-call) 복구를 지원하기 위한 DevOps 에이전트를 구축하고 있었습니다. 아이디어는 간단했습니다. 인시던트가 발생하면 에이전트는 내부 위키에서 관련 런북을 읽고, 상황을 평가한 후, 적절한 복구 단계를 실행합니다. 엔지니어가 새벽 3시에 깨어나 올바른 페이지를 찾고 수동으로 체크리스트를 실행하기를 기다릴 필요가 없었습니다. 에이전트는 행동에 필요한 컨텍스트, 도구 및 액세스 권한을 가지고 있었습니다.이 작업을 수행하려면 높은 권한이 필요했습니다. 서비스를 재시작하고, 리소스를 확장하고, 경우에 따라 스택을 삭제하고 다시 생성하는 작업이었습니다. 해당 액세스는 의도적인 것이었습니다. 인프라를 변경할 권한 없이는 인프라 문제를 해결할 수 없습니다.