Метрики для оценки классификационной модели машинного обучения

Кейс-стади по мошенничеству с кредитными картами вводит оценку надзорной модели машинного обучения, предназначенной для классификации транзакций как мошеннических или не мошеннических. Модели генерируют прогнозы на основе данных о транзакциях, присваивая оценку от 0 до 1, с типичным порогом в 0,5 для классификации транзакций. Матрица смешения, важный инструмент, визуализирует результаты прогнозирования в категории истинных положительных (TP), ложных положительных (FP), истинных отрицательных (TN) и ложных отрицательных (FN), что помогает в оценке производительности. Различные метрики, такие как точность, полнота, частота сигналов, F1-метрика и точность, используются для оценки эффективности модели. Точность измеряет долю верных положительных прогнозов, полнота оценивает долю правильно идентифицированных положительных результатов, а частота сигналов указывает на долю положительных прогнозов среди всех транзакций. Точность, хотя и широко используется, может не быть подходящей для несбалансированных наборов данных, таких как обнаружение мошенничества, где точность и полнота обеспечивают лучшие представления. F1-метрика балансирует точность и полноту, предлагая всестороннюю метрику производительности. Выбор метрики зависит от приоритетов заинтересованных лиц и бизнес-влияния мошенничества по сравнению с ложными срабатываниями. Понимание этих метрик является критически важным для оптимизации производительности модели, особенно в контексте несбалансированных данных, таких как обнаружение мошенничества.