Metriken zur Bewertung eines Klassifizierungs-Modells im maschinellen Lernen

Die Fallstudie über Kreditkartenbetrug führt die Bewertung eines überwachten Machine-Learning-Modells ein, das für die Klassifizierung von Transaktionen als betrügerisch oder nicht betrügerisch konzipiert ist. Modelle generieren Vorhersagen basierend auf Transaktionsdaten und weisen Transaktionen eine Punktzahl von 0 bis 1 zu, wobei eine typische Schwelle von 0,5 für die Klassifizierung von Transaktionen verwendet wird. Die Verwirrungsmatrix, ein wichtiger Werkzeug, visualisiert Vorhersageergebnisse in die Kategorien True Positive (TP), False Positive (FP), True Negative (TN) und False Negative (FN), was bei der Leistungsbewertung hilft. Verschiedene Metriken wie Präzision, Recall, Alarmrate, F1-Score und Genauigkeit werden verwendet, um die Effektivität des Modells zu bewerten. Die Präzision misst den Anteil korrekter positiver Vorhersagen, der Recall bewertet den Anteil tatsächlicher Positiver, die korrekt identifiziert wurden, und die Alarmrate zeigt den Anteil positiver Vorhersagen unter allen Transaktionen. Die Genauigkeit, obwohl sie weit verbreitet ist, eignet sich möglicherweise nicht für unbalancierte Datensätze wie den Betrugsdetektion, wo Präzision und Recall bessere Einblicke bieten. Der F1-Score balanciert Präzision und Recall und bietet eine umfassende Leistungsmetrik. Die Wahl der Metrik hängt von den Prioritäten der Stakeholder und dem Geschäftsauswirkungen von Betrug im Vergleich zu Falschpositiven ab. Das Verständnis dieser Metriken ist für die Optimierung der Modellleistung, insbesondere in schiefen Datenkontexten wie der Betrugsdetektion, von entscheidender Bedeutung.