当团队将模型投入生产时，都会遇到同样的问题。起初，由于缺乏监控，故障在数天内未被察觉。随着团队开始修复问题，他们识别出生产结果与训练数据存在偏差的区域，为每个指标创建仪表板，并为每个阈值设置告警。这导致工程师在凌晨两点被电话叫醒处理一个会在一个小时内自动修复的 bug；而当重要告警出现时，却因告警疲劳而无人响应，从而形成了一条静默地将垃圾数据输入模型的流水线。当团队学会忽略 95% 的问题时，他们很可能也会忽略剩下的 5% 真正重要的问题，而解决这一问题的方法并非减少监控。针对该问题的良好解决方案是实施监控，但这种监控在分层、路由和剪枝方面，与大多数团队已熟悉的基础设施监控截然不同。