모든 팀이나 조직은 모델을 프로덕션에 배포할 때 동일한 문제를 겪습니다. 처음에는 모니터링이 없기 때문에 오류가 며칠 동안 감지되지 않습니다. 팀이 문제를 해결하기 시작하면 프로덕션 결과가 학습 데이터와 벗어나는 영역을 식별하고 모든 메트릭에 대한 대시보드를 만들고 모든 임계값에 대한 알림을 설정합니다. 이로 인해 엔지니어들은 한 시간 안에 스스로 해결되는 버그 때문에 새벽 2시에 호출되고, 중요한 알림이 발생하면 알림 피로로 인해 응답하지 않아 모델에 조용히 쓰레기를 공급하는 파이프라인이 만들어집니다.팀이 95%의 문제를 무시하는 법을 배우면 실제로 중요한 나머지 5%도 무시할 가능성이 매우 높으며, 이에 대한 해결책은 모니터링을 줄이는 것이 아닙니다. 이 문제에 대한 좋은 해결책은 모니터링이며, 이는 대부분의 팀이 이미 알고 있는 인프라 모니터링과는 다르게 계층화되고, 라우팅되며, 가지치기됩니다.