...
Eroare Machine Learning · Împărțirea datelor și validarea încrucișată

UserWarning: Scoring failed. The score on this train-test partition for these parameters will be set to nan.

Pe scurt

În timpul validării (cross_val_score, GridSearchCV), modelul s-a antrenat, dar calculul scorului pe o parte de test a dat eroare, așa că scorul e nan. Citește eroarea din „Details” de sub avertisment: de obicei un parametru prea mare pentru partea de train (n_neighbors) sau o metrică nepotrivită.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Validarea încrucișată face doi pași pentru fiecare parte: fit pe train și scor pe test. Dacă fit merge, dar scorul eșuează, scikit-learn nu oprește căutarea: afișează acest UserWarning, pune nan în locul scorului și continuă. Sub avertisment, la Details:, e traceback-ul cu eroarea reală. De obicei, la finalul unei căutări urmează și UserWarning: One or more of the test scores are non-finite, adică printre scoruri sunt nan.

Cauze frecvente: la k-NN, n_neighbors mai mare decât numărul de exemple din partea de train (modelul se antrenează, dar predict cere mai mulți vecini decât are); o metrică binară ("f1", "precision") pe o țintă cu trei clase; "roc_auc" pe un model fără predict_proba sau decision_function. Un nan în best_score_ sau în cv_results_ înseamnă să citești avertismentul.

De ce apare: cauzele frecvente

1Prea mulți vecini pentru partea de train

Greșit
PYTHON
grila = {"n_neighbors": [1, 3, 5]}
GridSearchCV(KNeighborsClassifier(), grila, cv=2).fit(X, y)  # 8 rânduri
Corect
PYTHON
grila = {"n_neighbors": [1, 3]}  # fiecare train are 4 rânduri
GridSearchCV(KNeighborsClassifier(), grila, cv=2).fit(X, y)

Cu cv=2, fiecare model vede doar jumătate din date, deci n_neighbors trebuie să fie cel mult cât are partea de train.

2Metrică binară pe o țintă cu mai multe clase

Greșit
PYTHON
cross_val_score(model, X, y_3_clase, scoring="f1")
Corect
PYTHON
cross_val_score(model, X, y_3_clase, scoring="f1_macro")

"f1" presupune două clase. Pentru multiclasă există f1_macro, f1_weighted și f1_micro.

3Vezi eroarea direct cu error_score="raise"

Greșit
PYTHON
GridSearchCV(model, grila, cv=5).fit(X, y)
Corect
PYTHON
GridSearchCV(model, grila, cv=5, error_score="raise").fit(X, y)

Cu error_score="raise", prima problemă oprește căutarea cu eroarea ei originală, în loc de avertisment și nan.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă UserWarning: Scoring failed. The score on this train-test partition for these parameters will be set to nan., pentru că, la cv=2, fiecare model vede doar 4 rânduri, iar grila încearcă și 5 vecini. Scoate din grilă valoarea imposibilă, ca programul să afișeze numărul de vecini ales și scorul.

Codul care dă eroarea
PYTHON
import warnings
from sklearn.model_selection import GridSearchCV
from sklearn.neighbors import KNeighborsClassifier

warnings.simplefilter("error")

X = [[1], [2], [3], [4], [10], [11], [12], [13]]
y = [0, 0, 0, 0, 1, 1, 1, 1]

grid = GridSearchCV(KNeighborsClassifier(), {"n_neighbors": [1, 3, 5]}, cv=2)
grid.fit(X, y)
print("Vecini:", grid.best_params_["n_neighbors"])
print("Scor:", grid.best_score_)
După reparație, programul afișează
Vecini: 1
Scor: 1.0
Indiciu

Grila trebuie să conțină doar valori de cel mult 4: [1, 3].

Alte forme ale mesajului

  • UserWarning: One or more of the test scores are non-finite: [ 1. 1. nan]
  • UserWarning: Scoring failed. The score on this train-test partition for these parameters will be set to nan. Details:
  • UserWarning: One or more of the train scores are non-finite: [nan nan]

Cum o eviți pe viitor

Calculează limitele grilei din mărimea datelor: la k-NN, n_neighbors maxim este cam len(X) * (cv - 1) / cv. Alege metrica după tipul țintei (pentru multiclasă, variantele _macro sau _weighted). Verifică grid.cv_results_["mean_test_score"] după căutare: orice nan acolo indică o combinație care n-a putut fi evaluată.

Întrebări frecvente

Pot ignora avertismentul, dacă cel mai bun scor e bun?

Doar dacă știi de ce apare. Combinațiile cu nan sunt excluse din comparație, deci căutarea a încercat mai puține variante decât crezi. Uneori tocmai varianta bună e cea care a eșuat.

E diferit de All the fits failed?

Da. Acolo eșuează antrenarea (fit) la toate părțile. Aici antrenarea merge, dar calculul scorului eșuează, iar căutarea continuă cu celelalte combinații.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.