Airbnbの予測データサイエンスチームは、会社全体にわたる重要な予測を行っています。これらの予測は影響力が大きいため、たとえわずかなバイアスであっても重大な結果をもたらす可能性があります。チームは、予測モデルが苦戦した場合に、リフィッティング、リスペシフィケーション、およびホールドという3つの異なるアクションを区別することを学びました。リフィッティングは、モデルの構造と特徴を同じままにして、新しいデータでモデルを更新することを含みます。これは最も安価なオプションですが、最近のデータが異常な場合、パフォーマンスが低下するリスクを伴います。リスペシフィケーションは、特徴を追加または削除したり、構造を変更したりすることによって、モデル自体を変更することを意味します。これはより大きな取り組みですが、根本的なモデルエラーを修正するために必要です。ホールド、つまり何もしないことは、見かけ上のミスにもかかわらずモデルをそのままにしておくことを意味するため、最も自信を必要とします。ミスがモデルの予想範囲内にある場合や、ミスの原因が一時的なものである場合、これはしばしば正しい選択です。これらのアクションを区別できないと、ノイズを追いかける、古い仮定を引きずる、または混乱の期間中に過剰に修正するといった問題につながる可能性があります。どのアクションを取るかの決定は、根本的にデータ生成プロセスに何が変化したかを理解することにかかっています。プロセスが同じままでパラメータのみがドリフトした場合は、リフィットします。モデルが捉えられない方法でプロセスが変更された場合は、リスペシファイします。ミスが通常の範囲内にある場合は、ホールドします。