Команда Data Science по прогнозированию Airbnb создает критически важные общекорпоративные прогнозы. Эти прогнозы имеют большое значение, поэтому даже небольшие смещения могут иметь серьезные последствия. Команда научилась различать три различных действия, когда модель прогнозирования испытывает трудности: переобучение, переопределение и удержание. Переобучение включает обновление модели новыми данными при сохранении ее структуры и признаков. Это самый дешевый вариант, но он несет риск снижения производительности, если последние данные необычны. Переопределение означает изменение самой модели путем добавления или удаления признаков или изменения ее структуры. Это более серьезная задача, но она необходима для исправления фундаментальных ошибок модели. Удержание, или бездействие, требует наибольшей уверенности, поскольку означает оставление модели без изменений, несмотря на явные промахи. Это часто правильный выбор, когда промахи находятся в пределах ожидаемого диапазона модели или когда причина промаха временна. Неспособность различать эти действия может привести к таким проблемам, как погоня за шумом, сохранение устаревших предположений или чрезмерная коррекция в периоды сбоев. Решение о том, какое действие предпринять сейчас, зависит от понимания того, что фундаментально изменилось в исходном процессе генерации данных. Если процесс остается прежним, а изменились только параметры, переобучите. Если процесс изменился таким образом, что модель не может его уловить, переопределите. Если промах находится в пределах нормы, удерживайте.