4.4 Matricea de confuzie și curbele ROC

Un singur număr (acuratețea) ascunde ce greșește modelul. Matricea de confuzie și curba ROC arată exact unde și cum greșește — și cum poți repara.

Teorie

Construcția matricei de confuzie

Tabel cu clasele reale pe rânduri și cele prezise pe coloane; celula (i, j) numără exemplele din clasa i prezise ca j. Pentru clasificare binară:

Interpretare

Diagonala = corect; restul = erori, defalcate pe tip. La multi-clasă vezi imediat care perechi de clase se confundă (de exemplu cifrele 3 și 8) — informație care îți spune ce feature-uri să adaugi. Din matrice derivă direct precizia și recall-ul fiecărei clase (lecția 4.1).

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay

cm = confusion_matrix(y_val, y_pred)
ConfusionMatrixDisplay(cm, display_labels=model.classes_).plot(cmap="Blues")

Curba ROC și AUC

Clasificatorul dă probabilități; pragul (implicit 0.5) le transformă în clase. Curba ROC arată, pentru toate pragurile posibile, compromisul dintre rata adevărat-pozitivelor (recall) și rata fals-pozitivelor:

AUC (aria de sub curbă): 1.0 = separare perfectă, 0.5 = ghicit la întâmplare (diagonala). AUC nu depinde de prag — măsoară cât de bine ordonează modelul exemplele.

Utilizare pentru clasificare — alegerea pragului

from sklearn.metrics import roc_curve, roc_auc_score
import matplotlib.pyplot as plt

proba = model.predict_proba(X_val)[:, 1]
fpr, tpr, praguri = roc_curve(y_val, proba)
print("AUC:", roc_auc_score(y_val, proba))

plt.plot(fpr, tpr); plt.plot([0, 1], [0, 1], "--", c="gray")
plt.xlabel("FPR"); plt.ylabel("TPR"); plt.show()

# prag personalizat: prindem mai multe pozitive, acceptăm mai multe alarme
pred_strict = (proba >= 0.3).astype(int)

Problemă rezolvată: diagnoza completă a unui clasificator medical

import numpy as np
from sklearn.metrics import (confusion_matrix, ConfusionMatrixDisplay,
                             roc_curve, roc_auc_score, f1_score)

proba = model.predict_proba(X_val)[:, 1]

# 1. matricea de confuzie la pragul implicit
cm = confusion_matrix(y_val, proba >= 0.5)
print(cm)          # de ex. [[85  8]
                   #         [17 25]]  → 17 diabetici ratați!

# 2. curba ROC + AUC
print("AUC:", roc_auc_score(y_val, proba).round(3))

# 3. pragul care maximizează F1 pe validare
praguri = np.linspace(0.1, 0.9, 81)
f1s = [f1_score(y_val, proba >= p) for p in praguri]
best = praguri[int(np.argmax(f1s))]
print("Prag optim:", best.round(2), "F1:", max(f1s).round(3))

cm2 = confusion_matrix(y_val, proba >= best)
print(cm2)         # FN scade — mai puțini bolnavi ratați

Probleme propuse