UserWarning: Scoring failed. The score on this train-test partition for these parameters will be set to nan.
În timpul validării (cross_val_score, GridSearchCV), modelul s-a antrenat, dar calculul scorului pe o parte de test a dat eroare, așa că scorul e nan. Citește eroarea din „Details” de sub avertisment: de obicei un parametru prea mare pentru partea de train (n_neighbors) sau o metrică nepotrivită.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Validarea încrucișată face doi pași pentru fiecare parte: fit pe train și scor pe test. Dacă fit merge, dar scorul eșuează, scikit-learn nu oprește căutarea: afișează acest UserWarning, pune nan în locul scorului și continuă. Sub avertisment, la Details:, e traceback-ul cu eroarea reală. De obicei, la finalul unei căutări urmează și UserWarning: One or more of the test scores are non-finite, adică printre scoruri sunt nan.
Cauze frecvente: la k-NN, n_neighbors mai mare decât numărul de exemple din partea de train (modelul se antrenează, dar predict cere mai mulți vecini decât are); o metrică binară ("f1", "precision") pe o țintă cu trei clase; "roc_auc" pe un model fără predict_proba sau decision_function. Un nan în best_score_ sau în cv_results_ înseamnă să citești avertismentul.
De ce apare: cauzele frecvente
1Prea mulți vecini pentru partea de train
grila = {"n_neighbors": [1, 3, 5]}
GridSearchCV(KNeighborsClassifier(), grila, cv=2).fit(X, y) # 8 rândurigrila = {"n_neighbors": [1, 3]} # fiecare train are 4 rânduri
GridSearchCV(KNeighborsClassifier(), grila, cv=2).fit(X, y)Cu cv=2, fiecare model vede doar jumătate din date, deci n_neighbors trebuie să fie cel mult cât are partea de train.
2Metrică binară pe o țintă cu mai multe clase
cross_val_score(model, X, y_3_clase, scoring="f1")cross_val_score(model, X, y_3_clase, scoring="f1_macro")"f1" presupune două clase. Pentru multiclasă există f1_macro, f1_weighted și f1_micro.
3Vezi eroarea direct cu error_score="raise"
GridSearchCV(model, grila, cv=5).fit(X, y)GridSearchCV(model, grila, cv=5, error_score="raise").fit(X, y)Cu error_score="raise", prima problemă oprește căutarea cu eroarea ei originală, în loc de avertisment și nan.
Repară eroarea, direct în pagină
Codul de mai jos dă UserWarning: Scoring failed. The score on this train-test partition for these parameters will be set to nan., pentru că, la cv=2, fiecare model vede doar 4 rânduri, iar grila încearcă și 5 vecini. Scoate din grilă valoarea imposibilă, ca programul să afișeze numărul de vecini ales și scorul.
import warnings
from sklearn.model_selection import GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
warnings.simplefilter("error")
X = [[1], [2], [3], [4], [10], [11], [12], [13]]
y = [0, 0, 0, 0, 1, 1, 1, 1]
grid = GridSearchCV(KNeighborsClassifier(), {"n_neighbors": [1, 3, 5]}, cv=2)
grid.fit(X, y)
print("Vecini:", grid.best_params_["n_neighbors"])
print("Scor:", grid.best_score_)Vecini: 1 Scor: 1.0
Indiciu
Grila trebuie să conțină doar valori de cel mult 4: [1, 3].
Reparația
import warnings
from sklearn.model_selection import GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
warnings.simplefilter("error")
X = [[1], [2], [3], [4], [10], [11], [12], [13]]
y = [0, 0, 0, 0, 1, 1, 1, 1]
grid = GridSearchCV(KNeighborsClassifier(), {"n_neighbors": [1, 3]}, cv=2)
grid.fit(X, y)
print("Vecini:", grid.best_params_["n_neighbors"])
print("Scor:", grid.best_score_)De ce merge
Cu cv=2, fiecare model se antrenează pe 4 rânduri. Antrenarea cu 5 vecini merge (k-NN doar memorează datele), dar predict cere 5 vecini dintre 4, deci scorul eșuează și devine nan. Cu grila [1, 3], toate scorurile se pot calcula. Ambele valori clasifică perfect, iar la egalitate GridSearchCV păstrează prima.
Alte forme ale mesajului
UserWarning: One or more of the test scores are non-finite: [ 1. 1. nan]UserWarning: Scoring failed. The score on this train-test partition for these parameters will be set to nan. Details:UserWarning: One or more of the train scores are non-finite: [nan nan]
Cum o eviți pe viitor
Calculează limitele grilei din mărimea datelor: la k-NN, n_neighbors maxim este cam len(X) * (cv - 1) / cv. Alege metrica după tipul țintei (pentru multiclasă, variantele _macro sau _weighted). Verifică grid.cv_results_["mean_test_score"] după căutare: orice nan acolo indică o combinație care n-a putut fi evaluată.
Întrebări frecvente
Pot ignora avertismentul, dacă cel mai bun scor e bun?
Doar dacă știi de ce apare. Combinațiile cu nan sunt excluse din comparație, deci căutarea a încercat mai puține variante decât crezi. Uneori tocmai varianta bună e cea care a eșuat.
E diferit de All the fits failed?
Da. Acolo eșuează antrenarea (fit) la toate părțile. Aici antrenarea merge, dar calculul scorului eșuează, iar căutarea continuă cu celelalte combinații.
Erori înrudite
ValueError: All the 5 fits failed. It is very likely that your model is misconfigured. cross_val_score, cross_validate sau GridSearchCV au încercat să antreneze modelul pe fiecare parte, iar toate antrenările au dat eroare. Citește mai jos, în același mesaj, secțiunea „fits failed with the following error”: acolo e eroarea reală (de exemplu un text în X sau un parametru greșit). ValueError: Expected n_neighbors <= n_samples_fit, but n_neighbors = 5, n_samples_fit = 3, n_samples = 1 k-NN caută 5 vecini (valoarea implicită), dar a fost antrenat pe doar 3 exemple. Alege n_neighbors cel mult egal cu numărul de rânduri de antrenare (de exemplu n_neighbors=3) sau antrenează pe mai multe date. ValueError: Target is multiclass but average='binary'. Please choose another average setting, one of [None, 'micro', 'macro', 'weighted']. Ai calculat precision, recall sau F1 pe o problemă cu mai mult de două clase, iar implicit aceste funcții presupun două clase. Alege explicit cum se face media: average='macro' (toate clasele la fel), 'weighted' (după numărul de exemple) sau None (scor pe fiecare clasă). Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
