UserWarning: The total space of parameters 4 is smaller than n_iter=10. Running 4 iterations. For exhaustive searches, use GridSearchCV.
RandomizedSearchCV trebuie să încerce n_iter combinații, dar grila ta are mai puține, deci le încearcă pe toate o singură dată. Micșorează n_iter, dă distribuții continue (de exemplu loguniform pentru C) sau folosește direct GridSearchCV.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
RandomizedSearchCV alege aleator n_iter combinații de hiperparametri din spațiul pe care i-l dai. Când toate valorile sunt liste, spațiul are un număr fix de combinații: aici 4 (de exemplu 2 valori pentru C ori 2 pentru class_weight). Nu poate alege 10 combinații distincte din 4, așa că le rulează pe toate 4 și te avertizează.
Rezultatul e corect, dar avertismentul arată că ai ales unealta sau setările greșit. Dacă vrei să încerci toate combinațiile, asta e exact ce face GridSearchCV. Dacă vrei o căutare aleatoare utilă, dă distribuții din scipy.stats (de exemplu loguniform(1e-3, 1e2) pentru C sau randint(1, 20) pentru numărul de vecini): atunci spațiul e practic infinit și n_iter controlează cât timp cauți.
De ce apare: cauzele frecvente
1Doar liste mici în spațiul de căutare
RandomizedSearchCV(model, {"C": [0.1, 1], "class_weight": [None, "balanced"]}, n_iter=10)GridSearchCV(model, {"C": [0.1, 1], "class_weight": [None, "balanced"]})Pentru 4 combinații, căutarea completă e la fel de rapidă și mai clară.
2Vrei căutare aleatoare reală
{"C": [0.01, 0.1, 1, 10]}from scipy.stats import loguniform
{"C": loguniform(1e-3, 1e2)}O distribuție continuă dă valori noi la fiecare iterație, deci n_iter contează cu adevărat.
3n_iter mai mare decât e nevoie
RandomizedSearchCV(knn, {"n_neighbors": [1, 3, 5, 7]}, n_iter=10)RandomizedSearchCV(knn, {"n_neighbors": [1, 3, 5, 7]}, n_iter=3, random_state=0)Cu n_iter mai mic decât spațiul, căutarea alege cu adevărat un subset.
Repară eroarea, direct în pagină
Codul de mai jos dă UserWarning: The total space of parameters 4 is smaller than n_iter=10, transformat în eroare. Grila are doar 4 valori pentru numărul de vecini, deci înlocuiește căutarea aleatoare cu GridSearchCV (fără n_iter și random_state), ca programul să afișeze numărul de vecini ales.
import warnings
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from sklearn.neighbors import KNeighborsClassifier
warnings.simplefilter("error", UserWarning)
X = [[1], [2], [3], [4], [5], [6], [11], [12], [13], [14], [15], [16]]
y = [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]
grila = {"n_neighbors": [1, 3, 5, 7]}
cautare = RandomizedSearchCV(KNeighborsClassifier(), grila, n_iter=10, cv=3, random_state=0)
cautare.fit(X, y)
print("Combinatii incercate:", len(cautare.cv_results_["params"]))
print("Vecini:", cautare.best_params_["n_neighbors"])Combinatii incercate: 4 Vecini: 1
Indiciu
Folosește GridSearchCV(KNeighborsClassifier(), grila, cv=3).
Reparația
import warnings
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from sklearn.neighbors import KNeighborsClassifier
warnings.simplefilter("error", UserWarning)
X = [[1], [2], [3], [4], [5], [6], [11], [12], [13], [14], [15], [16]]
y = [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]
grila = {"n_neighbors": [1, 3, 5, 7]}
cautare = GridSearchCV(KNeighborsClassifier(), grila, cv=3)
cautare.fit(X, y)
print("Combinatii incercate:", len(cautare.cv_results_["params"]))
print("Vecini:", cautare.best_params_["n_neighbors"])De ce merge
GridSearchCV încearcă exact toate cele 4 valori, fără să pretindă că alege 10 combinații aleatoare. Clasele sunt bine separate, deci toate valorile dau scor maxim, iar la egalitate căutarea o păstrează pe prima din listă, adică 1 vecin. Rezultatul e același cu al căutării aleatoare, dar codul spune clar ce face.
Alte forme ale mesajului
UserWarning: The total space of parameters 2 is smaller than n_iter=10. Running 2 iterations. For exhaustive searches, use GridSearchCV.
Cum o eviți pe viitor
Calculează mărimea grilei înmulțind numărul de valori ale fiecărui parametru. Sub câteva zeci de combinații, folosește GridSearchCV. Pentru spații mari sau parametri continui, folosește RandomizedSearchCV cu distribuții din scipy.stats și un random_state fix, ca rezultatele să se poată repeta.
Întrebări frecvente
Rezultatele sunt greșite din cauza avertismentului?
Nu. Toate combinațiile au fost încercate, deci ai exact rezultatul unui GridSearchCV. Avertismentul te anunță doar că n_iter nu a fost respectat.
Câte iterații să pun la RandomizedSearchCV?
Cât îți permite timpul. Pentru câțiva parametri, 20-60 de iterații găsesc de obicei o zonă bună; contează mai mult intervalele alese decât numărul exact.
Erori înrudite
TypeError: Parameter grid for parameter 'C' needs to be a list or a numpy array, but got 1.0 (of type float) instead. Single values need to be wrapped in a list with one element. În grila lui GridSearchCV, fiecare parametru trebuie să aibă o listă de valori de încercat, chiar dacă vrei o singură valoare. Scrie {"C": [1.0]} sau {"C": [0.1, 1, 10]}, nu {"C": 1.0}. ValueError: Invalid parameter 'C' for estimator Pipeline(steps=[('scaler', StandardScaler()), ('model', LogisticRegression())]). Valid parameters are: ['memory', 'steps', 'transform_input', 'verbose']. Ai dat lui GridSearchCV (sau lui set_params) un parametru al modelului direct pipeline-ului. Într-un pipeline, parametrii pașilor se scriu cu numele pasului și două underscore-uri: 'model__C' în loc de 'C'. AttributeError: 'GridSearchCV' object has no attribute 'best_params_' best_params_, best_score_ și best_estimator_ apar abia după ce rulezi căutarea cu grid.fit(X, y). Ai creat GridSearchCV (sau RandomizedSearchCV), dar n-ai apelat fit, ori l-ai apelat pe alt obiect. Apelează fit înainte să citești rezultatele. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
