ValueError: For multi-metric scoring, the parameter refit must be set to a scorer key or a callable to refit an estimator with the best parameter setting on the whole data and make the best_* attributes available for that metric.
Ai dat lui GridSearchCV mai multe metrici în scoring, dar nu i-ai spus după care să aleagă cel mai bun model. Setează refit cu numele unei metrici (de exemplu refit="f1"), sau refit=False dacă vrei doar tabelul de rezultate.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Cu scoring=["accuracy", "f1"] (sau un dicționar), GridSearchCV și RandomizedSearchCV calculează toate metricile pentru fiecare combinație. După căutare, implicit (refit=True) reantrenează cel mai bun model pe toate datele și completează best_params_, best_score_ și best_estimator_. Dar „cel mai bun” depinde de metrică: o combinație poate avea cea mai bună acuratețe, iar alta cel mai bun F1.
De aceea, cu mai multe metrici, trebuie să alegi una prin refit="f1". Numele trebuie să fie unul dintre cele din scoring (sau o cheie a dicționarului). Poți da și o funcție care primește cv_results_ și întoarce indicele combinației alese.
Dacă nu ai nevoie de modelul final, ci doar de comparație, refit=False oprește reantrenarea, iar rezultatele rămân în cv_results_.
De ce apare: cauzele frecvente
1Mai multe metrici, refit implicit
GridSearchCV(model, grila, scoring=["accuracy", "f1"])GridSearchCV(model, grila, scoring=["accuracy", "f1"], refit="f1")refit="f1" spune căutării să aleagă și să reantreneze modelul cu cel mai bun F1.
2refit cu un nume care nu e în scoring
GridSearchCV(model, grila, scoring={"acc": "accuracy", "f1": "f1"}, refit="accuracy")GridSearchCV(model, grila, scoring={"acc": "accuracy", "f1": "f1"}, refit="acc")Cu dicționar, refit folosește cheia ta ("acc"), nu numele metricii.
3Vrei doar comparația
GridSearchCV(model, grila, scoring=["precision", "recall"]).fit(X, y)cautare = GridSearchCV(model, grila, scoring=["precision", "recall"], refit=False).fit(X, y)
print(cautare.cv_results_["mean_test_recall"])Fără refit nu există best_*, dar ai toate scorurile în cv_results_.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: For multi-metric scoring, the parameter refit must be set..., pentru că GridSearchCV calculează două metrici și nu știe după care să aleagă. Alege modelul după F1, ca programul să afișeze valoarea C aleasă și scorurile ei.
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV
X = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12]]
y = [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]
cautare = GridSearchCV(LogisticRegression(), {"C": [0.01, 1.0]}, scoring=["accuracy", "f1"], cv=3)
cautare.fit(X, y)
i = cautare.best_index_
print("C ales:", cautare.best_params_["C"])
print("F1:", round(float(cautare.cv_results_["mean_test_f1"][i]), 3))
print("Acuratete:", round(float(cautare.cv_results_["mean_test_accuracy"][i]), 3))C ales: 0.01 F1: 0.822 Acuratete: 0.833
Indiciu
Adaugă refit="f1" la GridSearchCV.
Reparația
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV
X = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12]]
y = [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]
cautare = GridSearchCV(LogisticRegression(), {"C": [0.01, 1.0]}, scoring=["accuracy", "f1"], refit="f1", cv=3)
cautare.fit(X, y)
i = cautare.best_index_
print("C ales:", cautare.best_params_["C"])
print("F1:", round(float(cautare.cv_results_["mean_test_f1"][i]), 3))
print("Acuratete:", round(float(cautare.cv_results_["mean_test_accuracy"][i]), 3))De ce merge
Cu refit="f1", căutarea compară combinațiile după scorul F1 mediu, alege cea mai bună, o reantrenează pe toate datele și completează best_params_ și best_index_. Celelalte metrici rămân disponibile în cv_results_, la același indice, deci poți afișa și acuratețea modelului ales.
Alte forme ale mesajului
ValueError: For multi-metric scoring, the parameter refit must be set to a scorer key or a callable to refit an estimator with the best parameter setting on the whole data and make the best_* attributes available for that metric. If this is not needed, refit should be set to False explicitly. True was passed.
Cum o eviți pe viitor
Înainte de căutare, decide metrica principală (cea după care alegi modelul) și pune-o în refit. Celelalte metrici sunt informative. Pentru clase dezechilibrate, metrica principală e de obicei F1, recall sau average precision, nu acuratețea. Citește rezultatele din cv_results_ cu cheile mean_test_<metrica>.
Întrebări frecvente
Ce conține best_score_ cu refit="f1"?
Scorul F1 mediu al celei mai bune combinații. Celelalte metrici le găsești în cv_results_, la indicele best_index_.
De ce nu alege scikit-learn prima metrică din listă?
Pentru că alegerea modelului e o decizie importantă și ar fi ușor de făcut din greșeală. Biblioteca preferă să te oblige s-o spui explicit.
Erori înrudite
AttributeError: 'GridSearchCV' object has no attribute 'best_params_' best_params_, best_score_ și best_estimator_ apar abia după ce rulezi căutarea cu grid.fit(X, y). Ai creat GridSearchCV (sau RandomizedSearchCV), dar n-ai apelat fit, ori l-ai apelat pe alt obiect. Apelează fit înainte să citești rezultatele. TypeError: Parameter grid for parameter 'C' needs to be a list or a numpy array, but got 1.0 (of type float) instead. Single values need to be wrapped in a list with one element. În grila lui GridSearchCV, fiecare parametru trebuie să aibă o listă de valori de încercat, chiar dacă vrei o singură valoare. Scrie {"C": [1.0]} sau {"C": [0.1, 1, 10]}, nu {"C": 1.0}. UserWarning: Scoring failed. The score on this train-test partition for these parameters will be set to nan. În timpul validării (cross_val_score, GridSearchCV), modelul s-a antrenat, dar calculul scorului pe o parte de test a dat eroare, așa că scorul e nan. Citește eroarea din „Details” de sub avertisment: de obicei un parametru prea mare pentru partea de train (n_neighbors) sau o metrică nepotrivită. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
