UndefinedMetricWarning: Only one class is present in y_true. ROC AUC score is not defined in that case.
Setul pe care calculezi ROC AUC conține o singură clasă (de exemplu doar clienți care n-au plecat), iar AUC compară pozitivi cu negativi, deci nu are sens. Împarte datele cu stratify=y sau folosește StratifiedKFold, ca fiecare parte să aibă ambele clase.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
ROC AUC răspunde la întrebarea: dacă iau la întâmplare un exemplu pozitiv și unul negativ, cât de des primește pozitivul scorul mai mare? Fără niciun pozitiv (sau fără niciun negativ) în y_true, întrebarea nu are răspuns. scikit-learn afișează avertismentul și întoarce nan (în versiunile mai vechi, ValueError cu același text).
Se întâmplă pe seturi mici sau dezechilibrate: un test de 20% dintr-un tabel cu doar câteva fraude poate ieși fără nicio fraudă, mai ales dacă datele sunt ordonate și împarți fără amestecare (shuffle=False, TimeSeriesSplit, KFold fără shuffle). Repari asigurând ambele clase în fiecare parte: train_test_split(..., stratify=y) sau StratifiedKFold. Dacă tot nu ai destui pozitivi, setul e prea mic pentru metrica asta.
De ce apare: cauzele frecvente
1Date ordonate împărțite fără amestecare
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, shuffle=False)
roc_auc_score(y_te, model.predict_proba(X_te)[:, 1])X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)
roc_auc_score(y_te, model.predict_proba(X_te)[:, 1])stratify=y păstrează proporția claselor în train și în test, deci testul are și pozitivi, și negativi.
2Validare încrucișată fără stratificare
cross_val_score(model, X, y, cv=KFold(5), scoring="roc_auc")cross_val_score(model, X, y, cv=StratifiedKFold(5, shuffle=True, random_state=0), scoring="roc_auc")StratifiedKFold pune în fiecare parte aceeași proporție de clase ca în tot setul.
3AUC calculat pe un subgrup
masca = df["oras"] == "Iasi" # în Iași nu e nicio fraudă
roc_auc_score(y[masca], scor[masca])masca = df["oras"] == "Iasi"
if y[masca].nunique() == 2:
print(roc_auc_score(y[masca], scor[masca]))Pe subgrupuri, verifică întâi că există ambele clase; altfel AUC nu se poate calcula.
Repară eroarea, direct în pagină
Codul de mai jos dă UndefinedMetricWarning: Only one class is present in y_true, pentru că datele sunt ordonate și testul (ultimele rânduri, fără amestecare) are doar clasa 1. Repară împărțirea: amestecă datele și păstrează proporția claselor, ca programul să afișeze clasele din test și scorul AUC.
import warnings
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
warnings.simplefilter("error")
# minute pe site, ordonate crescator
X = [[1], [2], [3], [4], [5], [6], [12], [14], [15], [16], [18], [20]]
y = [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, shuffle=False)
model = LogisticRegression().fit(X_tr, y_tr)
print("Clase in test:", sorted(set(y_te)))
print("AUC:", roc_auc_score(y_te, model.predict_proba(X_te)[:, 1]))Clase in test: [0, 1] AUC: 1.0
Indiciu
Înlocuiește shuffle=False cu stratify=y, random_state=0.
Reparația
import warnings
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
warnings.simplefilter("error")
# minute pe site, ordonate crescator
X = [[1], [2], [3], [4], [5], [6], [12], [14], [15], [16], [18], [20]]
y = [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)
model = LogisticRegression().fit(X_tr, y_tr)
print("Clase in test:", sorted(set(y_te)))
print("AUC:", roc_auc_score(y_te, model.predict_proba(X_te)[:, 1]))De ce merge
Fără amestecare, testul primea ultimele trei rânduri, toate cu clasa 1, iar AUC nu are cu ce compara pozitivii. Cu stratify=y, testul de 3 rânduri păstrează cât se poate proporția claselor, deci primește ambele clase. Modelul dă scoruri mai mari vizitelor lungi, deci fiecare pozitiv din test e peste fiecare negativ și AUC este 1.0.
Alte forme ale mesajului
ValueError: Only one class present in y_true. ROC AUC score is not defined in that case.UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaninglessUndefinedMetricWarning: No negative samples in y_true, false positive value should be meaningless
Cum o eviți pe viitor
La clasificare folosește aproape mereu stratify=y la train_test_split și StratifiedKFold la validare (pentru clasificatori, cross_val_score(..., cv=5) folosește deja StratifiedKFold). Înainte să calculezi metrici, afișează pd.Series(y_test).value_counts(). Pe date foarte dezechilibrate, păstrează un set de test destul de mare cât să conțină măcar câteva exemple din clasa rară.
Întrebări frecvente
De ce primesc nan în loc de o eroare?
În versiunile recente scikit-learn afișează doar un avertisment și întoarce nan, ca o validare încrucișată să nu se oprească din cauza unei singure părți. Un nan printre scoruri înseamnă că una dintre părți n-a avut ambele clase.
Pot folosi acuratețea în locul AUC în cazul ăsta?
Acuratețea se poate calcula, dar pe un test cu o singură clasă îți spune foarte puțin. Problema reală e împărțirea datelor, nu metrica.
Erori înrudite
UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 due to no predicted samples. Use `zero_division` parameter to control this behavior. Modelul n-a prezis niciodată clasa pozitivă, deci precizia ar fi 0 împărțit la 0; scikit-learn o pune 0 și te avertizează. Cauza reală e de obicei un model care prezice doar clasa majoritară. Echilibrează clasele (class_weight='balanced', prag mai mic) și setează zero_division explicit. ValueError: The least populated classes in y have only 1 member, which is too few. The minimum number of groups for any class cannot be less than 2. Ai folosit train_test_split cu stratify=y, iar o clasă apare o singură dată, deci nu poate fi pusă și în train, și în test. Adună mai multe exemple pentru clasa rară, unește-o cu o clasă înrudită sau elimină rândul ei înainte de împărțire. ValueError: multi_class must be in ('ovo', 'ovr') Calculezi roc_auc_score pe o problemă cu mai mult de două clase fără să spui cum să fie combinate clasele. Adaugă multi_class="ovr" (fiecare clasă contra restului) sau "ovo" (perechi de clase) și dă-i toate coloanele din predict_proba. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
