多くの初心者は、MLモデルを構築する際に精度を求めます。皮膚疾患を検出するモデルがあると想像してください。テストデータセットには10,000人の患者がおり、そのうち疾患を持っているのはわずか100人だけで、残りは健康です。モデルは最終的に全員を健康と予測します。これは99%の精度となり、印象的に聞こえますが、病気の患者を一人も特定できませんでした。次に、その精度を盲目的に信頼して実世界に展開することを考えてみてください。テスト段階で病気の患者を一人も特定できなかったため、それは悲惨な結果になるでしょう。だからこそ、モデルはテスト段階で印象的な精度を示したにもかかわらず、実世界で失敗することがあります。実際にモデルの実際の振る舞いを理解するには、精度以外の指標を見る必要があります。