...
Eroare Machine Learning · Etichete, clasificare și metrici

UndefinedMetricWarning: Only one class is present in y_true. ROC AUC score is not defined in that case.

Pe scurt

Setul pe care calculezi ROC AUC conține o singură clasă (de exemplu doar clienți care n-au plecat), iar AUC compară pozitivi cu negativi, deci nu are sens. Împarte datele cu stratify=y sau folosește StratifiedKFold, ca fiecare parte să aibă ambele clase.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

ROC AUC răspunde la întrebarea: dacă iau la întâmplare un exemplu pozitiv și unul negativ, cât de des primește pozitivul scorul mai mare? Fără niciun pozitiv (sau fără niciun negativ) în y_true, întrebarea nu are răspuns. scikit-learn afișează avertismentul și întoarce nan (în versiunile mai vechi, ValueError cu același text).

Se întâmplă pe seturi mici sau dezechilibrate: un test de 20% dintr-un tabel cu doar câteva fraude poate ieși fără nicio fraudă, mai ales dacă datele sunt ordonate și împarți fără amestecare (shuffle=False, TimeSeriesSplit, KFold fără shuffle). Repari asigurând ambele clase în fiecare parte: train_test_split(..., stratify=y) sau StratifiedKFold. Dacă tot nu ai destui pozitivi, setul e prea mic pentru metrica asta.

De ce apare: cauzele frecvente

1Date ordonate împărțite fără amestecare

Greșit
PYTHON
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, shuffle=False)
roc_auc_score(y_te, model.predict_proba(X_te)[:, 1])
Corect
PYTHON
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)
roc_auc_score(y_te, model.predict_proba(X_te)[:, 1])

stratify=y păstrează proporția claselor în train și în test, deci testul are și pozitivi, și negativi.

2Validare încrucișată fără stratificare

Greșit
PYTHON
cross_val_score(model, X, y, cv=KFold(5), scoring="roc_auc")
Corect
PYTHON
cross_val_score(model, X, y, cv=StratifiedKFold(5, shuffle=True, random_state=0), scoring="roc_auc")

StratifiedKFold pune în fiecare parte aceeași proporție de clase ca în tot setul.

3AUC calculat pe un subgrup

Greșit
PYTHON
masca = df["oras"] == "Iasi"  # în Iași nu e nicio fraudă
roc_auc_score(y[masca], scor[masca])
Corect
PYTHON
masca = df["oras"] == "Iasi"
if y[masca].nunique() == 2:
    print(roc_auc_score(y[masca], scor[masca]))

Pe subgrupuri, verifică întâi că există ambele clase; altfel AUC nu se poate calcula.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă UndefinedMetricWarning: Only one class is present in y_true, pentru că datele sunt ordonate și testul (ultimele rânduri, fără amestecare) are doar clasa 1. Repară împărțirea: amestecă datele și păstrează proporția claselor, ca programul să afișeze clasele din test și scorul AUC.

Codul care dă eroarea
PYTHON
import warnings
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split

warnings.simplefilter("error")

# minute pe site, ordonate crescator
X = [[1], [2], [3], [4], [5], [6], [12], [14], [15], [16], [18], [20]]
y = [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, shuffle=False)
model = LogisticRegression().fit(X_tr, y_tr)
print("Clase in test:", sorted(set(y_te)))
print("AUC:", roc_auc_score(y_te, model.predict_proba(X_te)[:, 1]))
După reparație, programul afișează
Clase in test: [0, 1]
AUC: 1.0
Indiciu

Înlocuiește shuffle=False cu stratify=y, random_state=0.

Alte forme ale mesajului

  • ValueError: Only one class present in y_true. ROC AUC score is not defined in that case.
  • UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless
  • UndefinedMetricWarning: No negative samples in y_true, false positive value should be meaningless

Cum o eviți pe viitor

La clasificare folosește aproape mereu stratify=y la train_test_split și StratifiedKFold la validare (pentru clasificatori, cross_val_score(..., cv=5) folosește deja StratifiedKFold). Înainte să calculezi metrici, afișează pd.Series(y_test).value_counts(). Pe date foarte dezechilibrate, păstrează un set de test destul de mare cât să conțină măcar câteva exemple din clasa rară.

Întrebări frecvente

De ce primesc nan în loc de o eroare?

În versiunile recente scikit-learn afișează doar un avertisment și întoarce nan, ca o validare încrucișată să nu se oprească din cauza unei singure părți. Un nan printre scoruri înseamnă că una dintre părți n-a avut ambele clase.

Pot folosi acuratețea în locul AUC în cazul ăsta?

Acuratețea se poate calcula, dar pe un test cu o singură clasă îți spune foarte puțin. Problema reală e împărțirea datelor, nu metrica.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.