ML 실무자들은 오프라인에서 유망한 결과를 보여준 새로운 ML 모델이 프로덕션에서도 성공할 것이라고 자연스럽게 기대합니다. 하지만 종종 그렇지 않은 경우가 많습니다. 테스트 데이터에서 뛰어난 성능을 보이는 ML 모델이 실제 프로덕션 사용자에게는 기대 이하의 성능을 보일 수 있습니다. 오프라인 지표와 온라인 지표 간의 이러한 불일치는 실제 적용에서 종종 큰 과제입니다.