Airbnb 的预测数据科学团队负责生成全公司关键预测。这些预测影响深远，因此即使微小的偏差也可能带来严重后果。该团队已学会在预测模型表现不佳时区分三种截然不同的应对措施：重新拟合（refitting）、重新设定（respecifying）和维持现状（holding）。重新拟合是指在保持模型结构和特征不变的前提下，使用新数据更新模型。这是成本最低的选择，但如果近期数据异常，则存在性能下降的风险。重新设定是指通过添加或删除特征或改变模型结构来调整模型本身。这是一项更为重大的工作，但对于纠正模型的根本性错误是必要的。维持现状，即不采取任何行动，需要最高的信心，意味着尽管模型出现偏差，仍将其原封不动。当偏差处于模型预期范围内，或偏差原因属于暂时性因素时，这通常是正确的选择。未能区分这些行动可能导致诸如追逐噪声、沿用过时假设或在动荡时期过度修正等问题。决定采取何种行动，关键在于理解底层数据生成过程发生了何种根本性变化。如果过程本身未变，仅参数发生漂移，则应重新拟合；如果过程发生了模型无法捕捉的变化，则应重新设定；如果偏差在正常范围内，则应维持现状。