MLの実務家としては、オフラインで有望な結果を示した新しいMLモデルが、本番環境でも成功すると自然に期待するものです。しかし、そうでない場合がしばしばあります。テストデータで優れた性能を発揮するMLモデルが、実際のプロダクションユーザーに対しては性能が劣ることがあります。このオフラインとオンラインのメトリクスの乖離は、応用分野における大きな課題となることがよくあります。