При внедрении модели в продакшн каждая команда или организация сталкивается с одной и той же проблемой. Поначалу сбои остаются незамеченными в течение нескольких дней, потому что нет мониторинга. Когда команды начинают устранять проблемы, они выявляют области, где результаты в продакшене отклоняются от обучающих данных, создают дашборды для каждой метрики и устанавливают оповещения для каждого порога. В результате инженеров будят в два часа ночи из-за ошибки, которая исправляется сама в течение часа, а когда возникает важное оповещение, оно остается без ответа из-за усталости от оповещений, создавая конвейер, который незаметно подает мусор в модель.Когда команда учится игнорировать 95% проблем, она с большой вероятностью проигнорирует оставшиеся 5%, которые на самом деле важны, и решение этой проблемы не в уменьшении мониторинга. Хорошее решение этой проблемы — это мониторинг, который имеет уровни, маршрутизацию и фильтрацию, отличные от мониторинга инфраструктуры, который большинство команд уже знают.