Airbnb의 Forecasting Data Science 팀은 회사 전반에 걸쳐 중요한 예측을 생성합니다. 이러한 예측은 영향력이 크기 때문에 사소한 편향이라도 상당한 결과를 초래할 수 있습니다. 이 팀은 예측 모델이 어려움을 겪을 때 세 가지 뚜렷한 조치를 구분하는 방법을 배웠습니다. 바로 재적합(refitting), 재명세(respecifying), 유지(holding)입니다. 재적합은 모델의 구조와 특징을 그대로 유지하면서 새로운 데이터로 모델을 업데이트하는 것을 포함합니다. 이것이 가장 저렴한 옵션이지만, 최근 데이터가 특이할 경우 성능 저하의 위험을 수반합니다. 재명세는 특징을 추가하거나 제거하거나 구조를 변경하여 모델 자체를 변경하는 것을 의미합니다. 이것은 더 중요한 작업이지만 근본적인 모델 오류를 수정하는 데 필요합니다. 유지, 즉 아무것도 하지 않는 것은 명백한 오류에도 불구하고 모델을 그대로 두는 것을 의미하므로 가장 큰 확신이 필요합니다. 오류가 모델의 예상 범위 내에 있거나 오류의 원인이 일시적인 경우 종종 올바른 선택입니다. 이러한 조치를 구분하지 못하면 노이즈를 쫓거나 오래된 가정을 유지하거나 혼란스러운 기간 동안 과도하게 수정하는 것과 같은 문제가 발생할 수 있습니다. 어떤 조치를 취할지 결정하는 것은 근본적으로 데이터 생성 프로세스에 대해 무엇이 변했는지 이해하는 데 달려 있습니다. 프로세스가 동일하게 유지되고 매개변수만 변경된 경우 재적합합니다. 프로세스가 모델이 포착할 수 없는 방식으로 변경된 경우 재명세합니다. 오류가 정상 범위 내에 있는 경우 유지합니다.